Dalam regresi linier multivariat, tujuan Anda adalah membuat pernyataan hipotesis yang akan menghasilkan nilai sedekat mungkin dengan data Anda (gbr.1). Dalam hal ini, fungsi hipotesis akan dibuat untuk memprediksi suatu nilai dengan menggunakan lebih dari satu variabel independen. Kemudian dengan menggunakan gradien yang layak, bobot fitur akan dipilih sedemikian rupa sehingga perbedaan antar data dapat diminimalkan.
Notasi
Pernyataan Hipotesis
Fungsi hipotesis univariat, seperti namanya, menggunakan satu variabel untuk memprediksi suatu nilai.
Dalam hal ini, x is adalah masukan fitur/variabel yang fungsinya h(x) memprediksi suatu nilai. θ₀ dan θ₁ adalah bobot yang diberikan untuk memodifikasi fitur guna memprediksi nilai sedekat mungkin dengan data.
Fungsi ini dapat diperluas ke beberapa fitur untuk membuat hipotesis regresi linier multivariat.
Dalam hipotesis ini fungsi X₀, X₁,… Xₙ adalah fitur individual yang berkontribusi terhadap nilai prediksi. θ₀, θ₁, … θₙ adalah nilai konstan yang mempertimbangkan pentingnya fitur dalam memprediksi nilai akurat.
Dengan menggunakan vektor, kita dapat secara ringkas merepresentasikan θ, parameter, dan X, fitur, sebagai:
Berdasarkan hal ini kita dapat memvektorkan fungsi hipotesis kita dengan mentransposisi vektor θ dan mengalikannya dengan vektor X:
Vektor X ini dapat diubah menjadi matriks yang berisi banyak sampel untuk melakukan perhitungan massa.
Fungsi Biaya
Untuk mengukur keakuratan fungsi hipotesis, biasanya digunakan fungsi biaya. Fungsi ini mengambil rata-rata seluruh selisih keluaran fungsi hipotesis dibandingkan dengan nilai y sebenarnya.
Fungsi biaya untuk regresi linier univariat ditunjukkan di bawah ini:
Dalam fungsi ini, Σ(hθ(xᵢ) — yᵢ) adalah kesalahan kuadrat rata-rata dan rata-rata dibelah dua untuk memudahkan penghitungan penurunan gradien. Dalam hal ini, suku turunan dari fungsi biaya akan menghilangkan 1/2.
Fungsi ini dapat diperluas untuk bekerja dengan beberapa variabel seperti:
Versi vektornya ditunjukkan di bawah ini:
Kita ingin meminimalkan fungsi biaya, atau dengan kata lain mendapatkan garis lurus sedekat mungkin dengan kumpulan data yang tersebar. Jadi, kami ingin nilai kami sedekat mungkin dengan 0. Untuk meminimalkan fungsi biaya ini, kami menggunakan gradien yang layak.
Gradien Layak
Setelah memahami fungsi biaya, sekarang kita memiliki cara untuk mengukur seberapa cocok fungsi hipotesis dengan data. Namun sekarang kita perlu memikirkan cara memperkirakan parameter dalam fungsi hipotesis. Di situlah penurunan gradien berperan.
Pada fungsi ini kita mencoba mendapatkan nilai yang meminimalkan fungsi biaya, dengan kata lain mendapatkan nilai untuk parameter yang mendapatkan garis linier sedekat mungkin dengan data. Untuk melakukan ini, kita perlu menganggap setiap fitur sebagai fungsi kuadrat.
Jika kita memikirkan penurunan gradien untuk satu fitur, nilai parameternya dengan keluaran fungsi biayanya berbentuk seperti fungsi kuadrat. Namun, bagaimana cara beralih dari nilai parameter awal acak ke mendapatkan nilai yang meminimalkan fungsi biaya. Di situlah suku a*a/aθⱼ * J(θ) pada Gambar 10 berperan. Itu adalah turunan dari fungsi biaya pada suatu titik. Jika turunan ini negatif, maka nilai parameter awal dikurangi dengan kemiringan negatifnya, maka nilai parameternya akan bertambah mendekati nilai ideal. Hal ini diilustrasikan pada Gambar 11.
