Pernahkah Anda bertanya-tanya mengapa Regresi Logistik digunakan untuk masalah klasifikasi tetapi masih ada “Regresi” di dalamnya.
Dalam postingan ini kami akan menjawab pertanyaan seperti mengapa istilah regresi ada dalam Regresi Logistik? dan Bagaimana istilah tersebut dapat dikonversi ke probabilitas kelas?
Untuk masalah Klasifikasi dalam pembelajaran mesin, kita sering kali ingin mengetahui kemungkinan instance tersebut termasuk dalam kelas tersebut dibandingkan kelas mana yang akan dimilikinya. Jadi dalam banyak kasus kami ingin menggunakan estimasi probabilitas kelas untuk pengambilan keputusan.
Pertimbangkan sebuah skenario di mana kita harus mendeteksi penipuan kredit. Manajer departemen pengendalian penipuan ingin mengetahui tidak hanya siapa yang kemungkinan besar melakukan penipuan tetapi juga kasus-kasus di mana risiko kredit dipertaruhkan, yaitu akun-akun yang diperkirakan mengalami kerugian moneter paling besar bagi perusahaan.
Di sini, kita harus mengetahui kelas probabilitas penipuan untuk kasus tertentu.
Apa sebenarnya perkiraan akurat probabilitas keanggotaan kelas masih menjadi bahan perdebatan di luar cakupan postingan ini.
Kira-kira, kami ingin
(i) estimasi probabilitasnya terkalibrasi dengan baik, artinya jika Anda mengambil 100 kasus yang probabilitas keanggotaan kelasnya diperkirakan 0,2, maka sekitar 20 di antaranya benar-benar termasuk dalam kelas tersebut.
(ii) perkiraan probabilitas bersifat diskriminatif. Artinya mereka harus memberikan perkiraan probabilitas yang berbeda untuk contoh yang berbeda. Katakanlah probabilitas kelas 0,5 menunjukkan bahwa 50% populasi adalah penipu. Yang merupakan tarif dasar sehingga diperlukan diskriminasi untuk mendapatkan batas probabilitas kelas yang lebih tinggi/lebih rendah untuk estimasi.
Memahami apa kesulitan dalam menggunakan Model Linier untuk memprediksi probabilitas kelas?
Asumsikan, f(x) adalah fungsi linier kita. x adalah sebuah instance yang lebih jauh dari batas pemisah yang secara intuitif seharusnya mengarah pada kemungkinan lebih tinggi untuk berada di satu kelas atau kelas lainnya. Jadi f(x) memberi kita jarak dari batas pemisah. Seperti yang kita ketahui bahwa regresi linier dapat mengambil nilai dari -infinity hingga +infinity. Tapi probabilitas kelas kami berkisar dari 0 hingga 1.
Salah satu gagasan berguna tentang kemungkinan suatu peristiwa adalah peluang.
Peluang suatu kejadian adalah perbandingan terjadinya suatu kejadian dengan peluang tidak terjadinya suatu kejadian. Peluangnya berkisar dari 0 hingga + tak terhingga. Jadi kita tidak bisa memetakan distribusi linier kita dari 0 hingga + tak terhingga menggunakan fungsi odds.
Tapi tunggu! Karena bilangan apa pun yang berkisar dari 0 hingga +tak terhingga, nilai lognya akan berkisar dari -infinity hingga +infinity. Jadi mari kita bandingkan yaitu log-odds dengan model linier kita.
Asumsikan kita memiliki instance kelas c yang akan diprediksi dari model linier, maka log-oddsnya adalah
Di atas, w0, w1, w2, …. adalah bobot yang diberikan oleh model linier kita dan x1, x2, x3,…adalah fitur kumpulan data. P(c) adalah probabilitas contoh seberapa besar hal tersebut merupakan penipuan kredit dan 1-P(c) adalah probabilitas contoh seberapa besar hal tersebut tidak terjadi penipuan kredit.
Sekarang, kita sering menginginkan probabilitas kelas c yaitu P(c) sebagai probabilitas kelas prediksi kita dan tidak menginginkan peluang log untuk fungsi. Kita dapat menyelesaikan P(c).
Jadi kita mengambil eksponensial kedua sisi dengan e.
Di sisi kiri kita dapat membatalkan e dan log agar suku pangkat menjadi nilainya.
Menyelesaikan P(c),
Dalam Persamaan 2, Jika kita memplot grafik menggunakan nilai x dan w, kita mendapatkan kurva seperti ini
Kurva di atas disebut “Kurva Sigmoid”karena bentuk S-nya yang memasukkan probabilitas ke dalam rentang yang benar (antara nol dan satu).
Kurva sigmoid menunjukkan bahwa nilai-nilai di dekat batas tidak pasti kelasnya. Dan ketika Anda menjauh dari batas, ketidakpastian berkurang dan dengan demikian keanggotaan kelas menjadi pasti.
Hal ini membawa kita ke fungsi tujuan standar untuk menyesuaikan regresi logistik. Jadi “kemungkinan” contoh yang diberikan termasuk dalam kelas yang benar dapat diberikan oleh,
Model kemungkinan maksimum “rata-rata” memberikan probabilitas tertinggi pada contoh positif dan probabilitas terendah pada contoh negatif.
Saya harap Anda menyukai artikelnya. Silakan berkomentar jika ada koreksi.
