ครั้งแรกที่ฉันอ่านสิ่งนี้: จะตีความการจำแนกประเภท weka ได้อย่างไร แต่มันไม่ได้ช่วยฉัน .
จากนั้น เพื่อตั้งค่าพื้นหลัง ฉันกำลังพยายามเรียนรู้ในการแข่งขัน kaggle และแบบจำลองได้รับการประเมินด้วยพื้นที่ ROC
จริงๆ แล้ว ฉันสร้างโมเดลขึ้นมาสองโมเดลและข้อมูลเกี่ยวกับโมเดลเหล่านี้แสดงในลักษณะนี้:
Correctly Classified Instances 10309 98.1249 %
Incorrectly Classified Instances 197 1.8751 %
Kappa statistic 0.7807
K&B Relative Info Score 278520.5065 %
K&B Information Score 827.3574 bits 0.0788 bits/instance
Class complexity | order 0 3117.1189 bits 0.2967 bits/instance
Class complexity | scheme 948.6802 bits 0.0903 bits/instance
Complexity improvement (Sf) 2168.4387 bits 0.2064 bits/instance
Mean absolute error 0.0465
Root mean squared error 0.1283
Relative absolute error 46.7589 % >72<69
Root relative squared error 57.5625 % >72<69
Total Number of Instances 10506
=== Detailed Accuracy By Class ===
TP Rate FP Rate Precision Recall F-Measure ROC Area Class
0.998 0.327 0.982 0.998 0.99 0.992 0
0.673 0.002 0.956 0.673 0.79 0.992 1
Weighted Avg. 0.981 0.31 0.981 0.981 0.98 0.992
นอกเหนือจากคะแนนข้อมูลสัมพัทธ์ของ K&B; ข้อผิดพลาดสัมพัทธ์สัมพัทธ์และข้อผิดพลาดกำลังสองสัมพัทธ์ของรากซึ่งด้อยกว่า เหนือกว่า และเหนือกว่าตามลำดับในแบบจำลองที่ดีที่สุดที่ประเมินโดยเส้นโค้ง ROC ข้อมูลทั้งหมดจะเหมือนกัน ฉันสร้างโมเดลที่สามที่มีพฤติกรรมคล้ายกัน (อัตรา TP เป็นต้น) แต่คะแนนข้อมูลสัมพัทธ์ K&B อีกครั้ง ข้อผิดพลาดสัมพัทธ์สัมพัทธ์และข้อผิดพลาดกำลังสองสัมพัทธ์ของรูตแปรผัน แต่นั่นไม่อนุญาตให้คาดเดาได้ว่ารุ่นที่สามนี้เหนือกว่าทั้งสองรุ่นก่อนหรือไม่ (รูปแบบที่เหมือนกันเมื่อเปรียบเทียบกับรุ่นที่ดีที่สุด ดังนั้นในทางทฤษฎีแล้วควรจะเหนือกว่า แต่ก็ไม่ได้เป็นเช่นนั้น)
ฉันควรทำอย่างไรเพื่อคาดการณ์ว่าโมเดลจะทำงานได้ดีเมื่อมีรายละเอียดดังกล่าวหรือไม่
ขอบคุณล่วงหน้า.
