Как сравнить два классификатора в Weka с помощью парного Т-теста

В Weka я могу зайти в экспериментатор. В настройках я могу загрузить файл .arff и заставить weka создать классификатор (например, J48), затем я могу запустить его и, наконец, перейти на вкладку анализа. На этой вкладке он дает мне возможность «тестировать с помощью парного T-теста», но я не могу понять, как создать второй классификатор (например, J48 без сокращений) и выполнить T-тест для двух результатов.

Google не приводит меня ни к какому учебнику или ответам.

Как я могу заставить Weka провести Т-тест по результатам двух разных классификаторов, сделанных из одних и тех же данных?


person Reily Bourne    schedule 20.10.2012    source источник
comment
fiji.sc/Advanced_Weka_Segmentation_-_How_to_compare_classifiers Помогает ли это?   -  person greeness    schedule 20.10.2012
comment
Это помогает, но я не могу понять, как он дает t-значение или p-значение.   -  person Reily Bourne    schedule 21.10.2012


Ответы (1)


Следуйте инструкциям в разделе http://fiji.sc/Advanced_Weka_Segmentation_-_How_to_compare_classifiers.

На этом снимке экрана автор устанавливает уровень значимости 0,05. Насколько я понимаю, в таком тесте вы всегда сравниваете с базовым классификатором (здесь это NaiveBayes), в выводе используется аннотация v или *, чтобы указать, что конкретный результат статистически лучше (v) или хуже (*), чем базовая схема на указанном уровне значимости (в настоящее время 0,05). Хотя, возможно, это не то, что вы ожидали.

person greeness    schedule 21.10.2012