Pertama saya membaca ini: Bagaimana menafsirkan klasifikasi weka? tetapi itu tidak membantu saya .
Kemudian untuk latar belakangnya saya mencoba belajar di kompetisi kaggle dan model dievaluasi dengan area ROC.
Sebenarnya saya membuat dua model dan data tentangnya direpresentasikan dengan cara ini:
Correctly Classified Instances 10309 98.1249 %
Incorrectly Classified Instances 197 1.8751 %
Kappa statistic 0.7807
K&B Relative Info Score 278520.5065 %
K&B Information Score 827.3574 bits 0.0788 bits/instance
Class complexity | order 0 3117.1189 bits 0.2967 bits/instance
Class complexity | scheme 948.6802 bits 0.0903 bits/instance
Complexity improvement (Sf) 2168.4387 bits 0.2064 bits/instance
Mean absolute error 0.0465
Root mean squared error 0.1283
Relative absolute error 46.7589 % >72<69
Root relative squared error 57.5625 % >72<69
Total Number of Instances 10506
=== Detailed Accuracy By Class ===
TP Rate FP Rate Precision Recall F-Measure ROC Area Class
0.998 0.327 0.982 0.998 0.99 0.992 0
0.673 0.002 0.956 0.673 0.79 0.992 1
Weighted Avg. 0.981 0.31 0.981 0.981 0.98 0.992
Selain Skor Info Relatif K&B; Kesalahan absolut relatif dan kesalahan kuadrat relatif akar yang masing-masing inferior, superior, dan superior pada model terbaik yang dinilai dengan kurva ROC, semua datanya sama. Saya membuat model ketiga dengan perilaku serupa (tingkat TP dan seterusnya), tetapi sekali lagi K&B Relative Info Score; Kesalahan absolut relatif dan kesalahan kuadrat relatif akar bervariasi. Namun hal tersebut tidak memungkinkan untuk memprediksi apakah model ketiga ini lebih unggul dari kedua model pertama (variasinya sama dibandingkan model terbaik, jadi secara teori seharusnya model tersebut lebih unggul, namun ternyata tidak).
Apa yang harus saya lakukan untuk memprediksi apakah suatu model akan berperforma baik mengingat detailnya?
Terima kasih sebelumnya.
