Pertanyaan Wawancara Ilmu Data seputar metrik evaluasi model
Validasi dan Evaluasi Model Ilmu Data memberikan lebih banyak warna pada hipotesis kami dan membantu mengevaluasi berbagai model yang akan memberikan hasil yang lebih baik terhadap data kami. Ini adalah metrik yang membantu kami mengevaluasi model kami.
Arti Big-O dalam pengkodean, validasi, dan evaluasi adalah Model Sains Data.
Ada tiga kesalahan (metrik) utama yang digunakan untuk mengevaluasi model, Mean absolute error, Mean Squared error, dan skor R2.
Berarti Kesalahan Absolut (MAE)
Mari kita ambil contoh di mana kita mempunyai beberapa poin. Kami memiliki garis yang sesuai dengan titik-titik tersebut. Saat kita melakukan penjumlahan nilai absolut jarak titik ke garis, kita mendapatkan Mean absolute error. Masalah dengan metrik ini adalah metrik ini tidak dapat dibedakan. Mari kita terjemahkan ini ke dalam bagaimana kita dapat menggunakan Scikit Learn untuk menghitung metrik ini.
>>> from sklearn.metrics import mean_absolute_error >>> y_true = [3, -0.5, 2, 7] >>> y_pred = [2.5, 0.0, 2, 8] >>> mean_absolute_error(y_true, y_pred) 0.5 >>> y_true = [[0.5, 1], [-1, 1], [7, -6]] >>> y_pred = [[0, 2], [-1, 2], [8, -5]] >>> mean_absolute_error(y_true, y_pred) 0.75 >>> mean_absolute_error(y_true, y_pred, multioutput='raw_values') array([0.5, 1. ]) >>> mean_absolute_error(y_true, y_pred, multioutput=[0.3, 0.7]) ... 0.85...
Kesalahan Rata-Rata Kuadrat (MSE)
Mean Squared Error memecahkan masalah diferensiasi MAE. Perhatikan diagram yang sama di atas. Kami memiliki garis yang sesuai dengan titik-titik tersebut. Saat kita menjumlahkan kuadrat jarak dari titik ke garis, kita mendapatkan Mean squared error. Di Scikit, pembelajarannya terlihat seperti:
>>> from sklearn.metrics import mean_squared_error >>> y_true = [3, -0.5, 2, 7] >>> y_pred = [2.5, 0.0, 2, 8] >>> mean_squared_error(y_true, y_pred) 0.375 >>> y_true = [[0.5, 1],[-1, 1],[7, -6]] >>> y_pred = [[0, 2],[-1, 2],[8, -5]] >>> mean_squared_error(y_true, y_pred) 0.708... >>> mean_squared_error(y_true, y_pred, multioutput='raw_values') ... array([0.41666667, 1. ]) >>> mean_squared_error(y_true, y_pred, multioutput=[0.3, 0.7]) ... 0.825..
Representasi matematis MAE dan MSE di bawah ini:
Skor R2
Mari kita mengambil pendekatan naif dengan mengambil rata-rata semua titik dengan memikirkan garis horizontal yang melaluinya. Kemudian kita bisa menghitung MSE untuk model sederhana ini.
Skor R2 menjawab pertanyaan apakah model sederhana ini memiliki error yang lebih besar dibandingkan model regresi linier. Namun, dari segi metrik, jawaban yang kita butuhkan adalah seberapa besar. Skor R2 menjawab pertanyaan ini. Skor R2 adalah 1 — (Error dari Model Regresi Linier/Model rata-rata sederhana).
Skor terbaik yang mungkin adalah 1,0 dan bisa saja negatif (karena modelnya bisa saja lebih buruk). Model konstan yang selalu memprediksi nilai y yang diharapkan, dengan mengabaikan fitur masukan, akan memperoleh skor R² sebesar 0,0. Di Scikit Learn tampilannya seperti:
>>> from sklearn.metrics import r2_score >>> y_true = [3, -0.5, 2, 7] >>> y_pred = [2.5, 0.0, 2, 8] >>> r2_score(y_true, y_pred) 0.948... >>> y_true = [[0.5, 1], [-1, 1], [7, -6]] >>> y_pred = [[0, 2], [-1, 2], [8, -5]] >>> r2_score(y_true, y_pred, multioutput='variance_weighted') ... 0.938... >>> y_true = [1,2,3] >>> y_pred = [1,2,3] >>> r2_score(y_true, y_pred) 1.0 >>> y_true = [1,2,3] >>> y_pred = [2,2,2] >>> r2_score(y_true, y_pred) 0.0 >>> y_true = [1,2,3] >>> y_pred = [3,2,1] >>> r2_score(y_true, y_pred) -3.0
Kesimpulan
Evaluasi model mengarahkan Ilmuwan Data ke arah yang benar untuk memilih atau menyempurnakan model yang sesuai. Dalam Wawancara Ilmu Data, ini menguji dasar-dasar kandidat dengan cara yang sama. Dalam wawancara apa pun, mengetahui nilai-nilai dan istilah-istilah untuk masalah yang sedang didiskusikan adalah taruhannya.
Untuk jawaban lebih lanjut atas pertanyaan penting Ilmu Data, silakan kunjungi Acing AI.
Berlangganan buletin Acing AI kami, saya berjanji tidak akan mengirim spam dan GRATIS!
Kami telah membuat kursus baru untuk membantu orang-orang menguasai wawancara ilmu data. Daftar di bawah!
Terima kasih sudah membaca! 😊Jika Anda menikmatinya, uji berapa kali Anda dapat menekan👏 dalam 5 detik. Ini merupakan latihan kardio yang bagus untuk jari Anda DAN akan membantu orang lain melihat ceritanya.
