Сначала я прочитал это: Как интерпретировать классификацию weka? но это мне не помогло. .
Затем, чтобы настроить фон, я пытаюсь учиться в соревнованиях kaggle, и модели оцениваются с помощью области ROC.
На самом деле я построил две модели и данные о них представлены таким образом:
Correctly Classified Instances 10309 98.1249 %
Incorrectly Classified Instances 197 1.8751 %
Kappa statistic 0.7807
K&B Relative Info Score 278520.5065 %
K&B Information Score 827.3574 bits 0.0788 bits/instance
Class complexity | order 0 3117.1189 bits 0.2967 bits/instance
Class complexity | scheme 948.6802 bits 0.0903 bits/instance
Complexity improvement (Sf) 2168.4387 bits 0.2064 bits/instance
Mean absolute error 0.0465
Root mean squared error 0.1283
Relative absolute error 46.7589 % >72<69
Root relative squared error 57.5625 % >72<69
Total Number of Instances 10506
=== Detailed Accuracy By Class ===
TP Rate FP Rate Precision Recall F-Measure ROC Area Class
0.998 0.327 0.982 0.998 0.99 0.992 0
0.673 0.002 0.956 0.673 0.79 0.992 1
Weighted Avg. 0.981 0.31 0.981 0.981 0.98 0.992
Кроме K&B Relative Info Score; Относительная абсолютная ошибка и корень относительного квадрата ошибки, которые соответственно ниже, выше и выше в наилучшей модели, оцениваемые по кривым ROC, все данные одинаковы. Я построил третью модель с аналогичным поведением (уровень TP и т. д.), но снова K&B Relative Info Score; Относительная абсолютная ошибка и относительная квадратичная ошибка корня варьировались. Но это не позволяло предсказать, превосходит ли эта третья модель обе первые (вариации были одинаковыми по сравнению с лучшей моделью, поэтому теоретически она должна была быть лучше, но это не так).
Что я должен сделать, чтобы предсказать, будет ли модель работать хорошо, учитывая такие подробности о ней?
Спасибо заранее.
