lorenzo.volpi
/
QuAcc
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity
QuAcc/output/main/rcv1_CCAT_9prevs/rcv1_CCAT_max_conf_vs_atc_f...

44 KiB
Raw Blame History

rcv1_CCAT_9prevs

10% positives

train: [0.90003338 0.09996662]
validation: [0.90003338 0.09996662]
bin_sld: 227.883s
mul_sld: 78.248s
binmc_sld: 226.732s
mulmc_sld: 66.259s
binne_sld: 223.276s
mulne_sld: 62.735s
bin_pacc: 217.001s
mul_pacc: 58.470s
ref: 48.024s
atc_mc: 51.785s
tot: 230.591s

bin_sld mul_sld binmc_sld mulmc_sld atc_mc
0.0 0.0172 0.0601 0.0060 0.0303 0.0022
0.05 0.2360 0.1726 0.2103 0.1076 0.2253
0.1 0.1377 0.0893 0.0993 0.0664 0.1997
0.15 0.1179 0.0463 0.1033 0.0388 0.2018
0.2 0.0886 0.0309 0.0624 0.0297 0.1936
0.25 0.0596 0.0232 0.0498 0.0226 0.1943
0.3 0.0613 0.0220 0.0395 0.0195 0.1865
0.35 0.0462 0.0238 0.0264 0.0126 0.1849
0.4 0.0448 0.0360 0.0212 0.0161 0.1852
0.45 0.0420 0.0463 0.0179 0.0154 0.1824
0.5 0.0498 0.0578 0.0163 0.0183 0.1836
0.55 0.0402 0.0685 0.0156 0.0183 0.1801
0.6 0.0501 0.0768 0.0214 0.0241 0.1872
0.65 0.0559 0.0899 0.0259 0.0335 0.1871
0.7 0.0461 0.0923 0.0258 0.0330 0.1884
0.75 0.0492 0.0968 0.0255 0.0381 0.1829
0.8 0.0439 0.1005 0.0224 0.0428 0.1840
0.85 0.0435 0.0994 0.0306 0.0552 0.1816
0.9 0.0381 0.0772 0.0229 0.0841 0.1818
0.95 0.0316 0.0473 0.0254 0.0788 0.1848
1.0 0.0118 0.0173 0.0034 0.0165 0.1850
avg 0.0625 0.0654 0.0415 0.0382 0.1801

plot_delta plot_delta_stdev plot_diagonal plot_shift

20% positives

train: [0.79989987 0.20010013]
validation: [0.80006676 0.19993324]
bin_sld: 224.734s
mul_sld: 70.409s
binmc_sld: 223.361s
mulmc_sld: 67.028s
binne_sld: 223.604s
mulne_sld: 67.347s
bin_pacc: 218.304s
mul_pacc: 60.326s
ref: 49.515s
atc_mc: 54.802s
tot: 229.075s

bin_sld mul_sld binmc_sld mulmc_sld atc_mc
0.0 0.0003 0.0910 0.0034 0.0313 0.1159
0.05 0.1180 0.0997 0.0799 0.0743 0.1303
0.1 0.0605 0.0606 0.0458 0.0454 0.0916
0.15 0.0441 0.0405 0.0355 0.0352 0.0794
0.2 0.0313 0.0353 0.0262 0.0293 0.0673
0.25 0.0226 0.0308 0.0209 0.0247 0.0623
0.3 0.0185 0.0255 0.0175 0.0207 0.0592
0.35 0.0118 0.0176 0.0109 0.0149 0.0518
0.4 0.0126 0.0205 0.0123 0.0153 0.0536
0.45 0.0101 0.0196 0.0097 0.0136 0.0510
0.5 0.0105 0.0194 0.0088 0.0127 0.0518
0.55 0.0100 0.0194 0.0080 0.0115 0.0533
0.6 0.0125 0.0200 0.0078 0.0115 0.0506
0.65 0.0123 0.0229 0.0078 0.0119 0.0480
0.7 0.0130 0.0214 0.0069 0.0113 0.0453
0.75 0.0142 0.0234 0.0074 0.0120 0.0428
0.8 0.0160 0.0262 0.0080 0.0128 0.0472
0.85 0.0170 0.0281 0.0093 0.0136 0.0461
0.9 0.0177 0.0281 0.0099 0.0139 0.0439
0.95 0.0172 0.0285 0.0104 0.0147 0.0468
1.0 0.0011 0.0174 0.0009 0.0066 0.0425
avg 0.0224 0.0331 0.0165 0.0208 0.0610

plot_delta plot_delta_stdev plot_diagonal plot_shift

30% positives

train: [0.69993324 0.30006676]
validation: [0.70010013 0.29989987]
bin_sld: 218.651s
mul_sld: 65.273s
binmc_sld: 221.260s
mulmc_sld: 64.594s
binne_sld: 218.686s
mulne_sld: 63.905s
bin_pacc: 215.149s
mul_pacc: 58.011s
ref: 48.157s
atc_mc: 52.112s
tot: 224.561s

bin_sld mul_sld binmc_sld mulmc_sld atc_mc
0.0 0.0002 0.0086 0.0005 0.0089 0.3301
0.05 0.0870 0.0812 0.0759 0.0712 0.0519
0.1 0.0633 0.0718 0.0513 0.0479 0.0306
0.15 0.0532 0.0681 0.0417 0.0419 0.0252
0.2 0.0417 0.0599 0.0340 0.0372 0.0190
0.25 0.0333 0.0551 0.0281 0.0350 0.0167
0.3 0.0231 0.0401 0.0205 0.0268 0.0132
0.35 0.0182 0.0326 0.0177 0.0239 0.0170
0.4 0.0150 0.0289 0.0153 0.0227 0.0141
0.45 0.0106 0.0229 0.0111 0.0189 0.0135
0.5 0.0090 0.0181 0.0097 0.0164 0.0153
0.55 0.0069 0.0160 0.0077 0.0154 0.0146
0.6 0.0080 0.0123 0.0072 0.0129 0.0142
0.65 0.0088 0.0099 0.0066 0.0110 0.0159
0.7 0.0092 0.0097 0.0062 0.0098 0.0145
0.75 0.0107 0.0094 0.0067 0.0085 0.0144
0.8 0.0118 0.0089 0.0067 0.0073 0.0157
0.85 0.0132 0.0097 0.0076 0.0066 0.0168
0.9 0.0147 0.0115 0.0089 0.0062 0.0155
0.95 0.0141 0.0115 0.0089 0.0057 0.0152
1.0 0.0004 0.0038 0.0003 0.0039 0.0177
avg 0.0215 0.0281 0.0177 0.0209 0.0334

plot_delta plot_delta_stdev plot_diagonal plot_shift

40% positives

train: [0.59996662 0.40003338]
validation: [0.59996662 0.40003338]
bin_sld: 213.191s
mul_sld: 64.472s
binmc_sld: 212.647s
mulmc_sld: 64.187s
binne_sld: 214.524s
mulne_sld: 63.741s
bin_pacc: 208.132s
mul_pacc: 57.195s
ref: 48.218s
atc_mc: 52.342s
tot: 219.577s

bin_sld mul_sld binmc_sld mulmc_sld atc_mc
0.0 0.0002 0.0027 0.0010 0.0076 0.3564
0.05 0.0662 0.0729 0.0652 0.0630 0.0506
0.1 0.0438 0.0607 0.0398 0.0416 0.0460
0.15 0.0444 0.0641 0.0335 0.0383 0.0318
0.2 0.0408 0.0592 0.0289 0.0319 0.0254
0.25 0.0426 0.0597 0.0300 0.0346 0.0197
0.3 0.0315 0.0463 0.0220 0.0254 0.0174
0.35 0.0279 0.0392 0.0208 0.0237 0.0129
0.4 0.0231 0.0361 0.0197 0.0232 0.0118
0.45 0.0179 0.0290 0.0149 0.0181 0.0095
0.5 0.0152 0.0259 0.0136 0.0170 0.0088
0.55 0.0113 0.0232 0.0108 0.0162 0.0085
0.6 0.0097 0.0193 0.0100 0.0144 0.0078
0.65 0.0081 0.0155 0.0083 0.0127 0.0093
0.7 0.0077 0.0125 0.0076 0.0111 0.0090
0.75 0.0070 0.0091 0.0063 0.0083 0.0075
0.8 0.0062 0.0080 0.0051 0.0081 0.0066
0.85 0.0070 0.0067 0.0046 0.0069 0.0084
0.9 0.0078 0.0057 0.0048 0.0052 0.0078
0.95 0.0083 0.0060 0.0048 0.0049 0.0097
1.0 0.0003 0.0022 0.0004 0.0025 0.0090
avg 0.0203 0.0288 0.0168 0.0198 0.0321

plot_delta plot_delta_stdev plot_diagonal plot_shift

50% positives

train: [0.5 0.5]
validation: [0.5 0.5]
bin_sld: 214.324s
mul_sld: 66.924s
binmc_sld: 214.469s
mulmc_sld: 65.323s
binne_sld: 214.727s
mulne_sld: 65.665s
bin_pacc: 209.386s
mul_pacc: 57.380s
ref: 47.729s
atc_mc: 52.153s
tot: 220.021s

bin_sld mul_sld binmc_sld mulmc_sld atc_mc
0.0 0.0001 0.0001 0.0002 0.0010 0.5135
0.05 0.1103 0.0701 0.0778 0.0616 0.1066
0.1 0.0477 0.0384 0.0407 0.0362 0.0476
0.15 0.0318 0.0371 0.0310 0.0339 0.0306
0.2 0.0271 0.0350 0.0270 0.0283 0.0235
0.25 0.0265 0.0361 0.0226 0.0257 0.0158
0.3 0.0258 0.0314 0.0224 0.0241 0.0147
0.35 0.0249 0.0276 0.0219 0.0210 0.0151
0.4 0.0231 0.0264 0.0187 0.0192 0.0105
0.45 0.0198 0.0228 0.0162 0.0166 0.0119
0.5 0.0183 0.0204 0.0147 0.0151 0.0115
0.55 0.0147 0.0169 0.0115 0.0119 0.0105
0.6 0.0151 0.0163 0.0126 0.0126 0.0107
0.65 0.0123 0.0137 0.0112 0.0112 0.0114
0.7 0.0108 0.0120 0.0105 0.0104 0.0103
0.75 0.0086 0.0094 0.0090 0.0086 0.0097
0.8 0.0064 0.0086 0.0071 0.0078 0.0117
0.85 0.0059 0.0071 0.0055 0.0061 0.0104
0.9 0.0065 0.0067 0.0054 0.0057 0.0117
0.95 0.0063 0.0064 0.0041 0.0044 0.0117
1.0 0.0005 0.0024 0.0011 0.0023 0.0128
avg 0.0211 0.0212 0.0177 0.0173 0.0434

plot_delta plot_delta_stdev plot_diagonal plot_shift

60% positives

train: [0.40003338 0.59996662]
validation: [0.40003338 0.59996662]
bin_sld: 214.994s
mul_sld: 67.090s
binmc_sld: 213.157s
mulmc_sld: 66.108s
binne_sld: 214.970s
mulne_sld: 66.024s
bin_pacc: 209.135s
mul_pacc: 57.235s
ref: 48.002s
atc_mc: 52.217s
tot: 220.124s

bin_sld mul_sld binmc_sld mulmc_sld atc_mc
0.0 0.0001 0.0000 0.0002 0.0002 0.5310
0.05 0.1167 0.0892 0.0837 0.0546 0.2044
0.1 0.0728 0.0521 0.0599 0.0360 0.1045
0.15 0.0507 0.0342 0.0468 0.0271 0.0571
0.2 0.0318 0.0240 0.0324 0.0231 0.0407
0.25 0.0305 0.0223 0.0324 0.0217 0.0228
0.3 0.0287 0.0211 0.0299 0.0209 0.0196
0.35 0.0264 0.0201 0.0284 0.0200 0.0125
0.4 0.0241 0.0180 0.0254 0.0178 0.0100
0.45 0.0196 0.0149 0.0207 0.0148 0.0101
0.5 0.0208 0.0162 0.0211 0.0160 0.0081
0.55 0.0159 0.0116 0.0168 0.0125 0.0076
0.6 0.0143 0.0115 0.0148 0.0109 0.0060
0.65 0.0130 0.0100 0.0137 0.0103 0.0060
0.7 0.0146 0.0104 0.0152 0.0116 0.0055
0.75 0.0128 0.0091 0.0135 0.0099 0.0051
0.8 0.0118 0.0086 0.0122 0.0090 0.0042
0.85 0.0117 0.0083 0.0120 0.0091 0.0042
0.9 0.0107 0.0075 0.0110 0.0081 0.0045
0.95 0.0087 0.0069 0.0083 0.0064 0.0037
1.0 0.0021 0.0033 0.0042 0.0040 0.0034
avg 0.0256 0.0190 0.0239 0.0164 0.0510

plot_delta plot_delta_stdev plot_diagonal plot_shift

70% positives

train: [0.29989987 0.70010013]
validation: [0.30006676 0.69993324]
bin_sld: 217.809s
mul_sld: 67.454s
binmc_sld: 215.345s
mulmc_sld: 65.596s
binne_sld: 216.897s
mulne_sld: 66.048s
bin_pacc: 210.063s
mul_pacc: 56.905s
ref: 47.823s
atc_mc: 51.936s
tot: 222.297s

bin_sld mul_sld binmc_sld mulmc_sld atc_mc
0.0 0.0001 0.0000 0.0001 0.0000 0.5749
0.05 0.1287 0.1285 0.0875 0.0694 0.3336
0.1 0.0930 0.0992 0.0668 0.0546 0.2163
0.15 0.0718 0.0750 0.0559 0.0434 0.1450
0.2 0.0497 0.0545 0.0405 0.0319 0.1055
0.25 0.0443 0.0465 0.0387 0.0303 0.0703
0.3 0.0375 0.0378 0.0350 0.0266 0.0549
0.35 0.0322 0.0340 0.0311 0.0251 0.0403
0.4 0.0266 0.0259 0.0276 0.0211 0.0279
0.45 0.0227 0.0219 0.0244 0.0190 0.0225
0.5 0.0200 0.0188 0.0213 0.0174 0.0165
0.55 0.0185 0.0158 0.0210 0.0161 0.0120
0.6 0.0141 0.0120 0.0163 0.0123 0.0095
0.65 0.0163 0.0126 0.0175 0.0134 0.0089
0.7 0.0133 0.0096 0.0149 0.0112 0.0060
0.75 0.0127 0.0086 0.0142 0.0108 0.0047
0.8 0.0133 0.0087 0.0138 0.0101 0.0044
0.85 0.0132 0.0082 0.0135 0.0103 0.0045
0.9 0.0111 0.0060 0.0113 0.0083 0.0036
0.95 0.0095 0.0050 0.0098 0.0069 0.0035
1.0 0.0030 0.0029 0.0053 0.0050 0.0032
avg 0.0310 0.0301 0.0270 0.0211 0.0794

plot_delta plot_delta_stdev plot_diagonal plot_shift

80% positives

train: [0.19993324 0.80006676]
validation: [0.20010013 0.79989987]
bin_sld: 216.605s
mul_sld: 66.881s
binmc_sld: 215.549s
mulmc_sld: 65.843s
binne_sld: 217.993s
mulne_sld: 64.859s
bin_pacc: 208.788s
mul_pacc: 56.643s
ref: 47.697s
atc_mc: 52.089s
tot: 223.227s

bin_sld mul_sld binmc_sld mulmc_sld atc_mc
0.0 0.0001 0.0000 0.0001 0.0000 0.5459
0.05 0.1267 0.1290 0.0870 0.0767 0.3941
0.1 0.0989 0.1103 0.0656 0.0597 0.2954
0.15 0.0757 0.0909 0.0510 0.0472 0.2206
0.2 0.0552 0.0707 0.0363 0.0339 0.1701
0.25 0.0470 0.0608 0.0333 0.0306 0.1277
0.3 0.0374 0.0510 0.0303 0.0268 0.0994
0.35 0.0314 0.0438 0.0247 0.0233 0.0774
0.4 0.0249 0.0347 0.0216 0.0188 0.0563
0.45 0.0189 0.0273 0.0180 0.0156 0.0440
0.5 0.0147 0.0214 0.0140 0.0128 0.0323
0.55 0.0136 0.0195 0.0151 0.0129 0.0206
0.6 0.0084 0.0128 0.0106 0.0096 0.0152
0.65 0.0093 0.0125 0.0116 0.0099 0.0098
0.7 0.0076 0.0097 0.0100 0.0085 0.0072
0.75 0.0073 0.0077 0.0087 0.0072 0.0056
0.8 0.0083 0.0072 0.0105 0.0078 0.0049
0.85 0.0077 0.0063 0.0089 0.0069 0.0053
0.9 0.0084 0.0055 0.0090 0.0069 0.0055
0.95 0.0073 0.0046 0.0075 0.0058 0.0068
1.0 0.0027 0.0023 0.0043 0.0038 0.0076
avg 0.0291 0.0347 0.0228 0.0202 0.1025

plot_delta plot_delta_stdev plot_diagonal plot_shift

90% positives

train: [0.09996662 0.90003338]
validation: [0.09996662 0.90003338]
bin_sld: 218.933s
mul_sld: 73.768s
binmc_sld: 218.003s
mulmc_sld: 61.731s
binne_sld: 219.245s
mulne_sld: 62.751s
bin_pacc: 208.227s
mul_pacc: 56.657s
ref: 48.071s
atc_mc: 52.099s
tot: 224.345s

bin_sld mul_sld binmc_sld mulmc_sld atc_mc
0.0 0.0000 0.0000 0.0000 0.0000 0.4745
0.05 0.1094 0.1097 0.1081 0.1023 0.4016
0.1 0.1816 0.1513 0.1276 0.1099 0.3432
0.15 0.1703 0.1465 0.1131 0.1009 0.2909
0.2 0.1472 0.1315 0.0950 0.0873 0.2470
0.25 0.1320 0.1232 0.0855 0.0819 0.2076
0.3 0.1123 0.1082 0.0712 0.0701 0.1759
0.35 0.0969 0.0971 0.0611 0.0623 0.1487
0.4 0.0828 0.0853 0.0523 0.0545 0.1239
0.45 0.0671 0.0705 0.0418 0.0446 0.1027
0.5 0.0552 0.0600 0.0341 0.0375 0.0842
0.55 0.0485 0.0534 0.0311 0.0344 0.0659
0.6 0.0353 0.0401 0.0219 0.0252 0.0530
0.65 0.0316 0.0361 0.0210 0.0235 0.0392
0.7 0.0235 0.0273 0.0160 0.0180 0.0290
0.75 0.0165 0.0198 0.0116 0.0131 0.0196
0.8 0.0128 0.0143 0.0100 0.0111 0.0125
0.85 0.0088 0.0095 0.0080 0.0087 0.0061
0.9 0.0055 0.0050 0.0059 0.0056 0.0036
0.95 0.0037 0.0033 0.0048 0.0045 0.0069
1.0 0.0026 0.0021 0.0045 0.0039 0.0123
avg 0.0640 0.0616 0.0440 0.0428 0.1356

plot_delta plot_delta_stdev plot_diagonal plot_shift

avg

avg on train

bin_sld mul_sld binmc_sld mulmc_sld atc_mc
0.0 0.0020 0.0180 0.0013 0.0088 0.3827
0.05 0.1221 0.1059 0.0973 0.0756 0.2109
0.1 0.0888 0.0815 0.0663 0.0553 0.1528
0.15 0.0733 0.0670 0.0569 0.0452 0.1203
0.2 0.0571 0.0557 0.0425 0.0370 0.0991
0.25 0.0487 0.0508 0.0379 0.0341 0.0819
0.3 0.0418 0.0426 0.0320 0.0290 0.0712
0.35 0.0351 0.0373 0.0270 0.0252 0.0623
0.4 0.0308 0.0346 0.0238 0.0232 0.0548
0.45 0.0254 0.0306 0.0194 0.0196 0.0497
0.5 0.0237 0.0287 0.0171 0.0181 0.0458
0.55 0.0199 0.0272 0.0153 0.0166 0.0415
0.6 0.0186 0.0246 0.0136 0.0148 0.0394
0.65 0.0186 0.0248 0.0137 0.0153 0.0373
0.7 0.0162 0.0228 0.0126 0.0139 0.0350
0.75 0.0154 0.0215 0.0114 0.0129 0.0325
0.8 0.0145 0.0212 0.0107 0.0130 0.0323
0.85 0.0142 0.0204 0.0111 0.0137 0.0315
0.9 0.0134 0.0170 0.0099 0.0160 0.0309
0.95 0.0118 0.0133 0.0093 0.0147 0.0321
1.0 0.0027 0.0060 0.0027 0.0054 0.0326
avg 0.0331 0.0358 0.0253 0.0242 0.0798
plot_delta plot_delta_stdev ### avg on test
bin_sld mul_sld binmc_sld mulmc_sld atc_mc
0.1 0.0625 0.0654 0.0415 0.0382 0.1801
0.2 0.0224 0.0331 0.0165 0.0208 0.0610
0.3 0.0215 0.0281 0.0177 0.0209 0.0334
0.4 0.0203 0.0288 0.0168 0.0198 0.0321
0.5 0.0211 0.0212 0.0177 0.0173 0.0434
0.6 0.0256 0.0190 0.0239 0.0164 0.0510
0.7 0.0310 0.0301 0.0270 0.0211 0.0794
0.8 0.0291 0.0347 0.0228 0.0202 0.1025
0.9 0.0640 0.0616 0.0440 0.0428 0.1356
avg 0.0331 0.0358 0.0253 0.0242 0.0798

plot_delta plot_delta_stdev ### avg dataset shift plot_shift