Gradient Descent diakui sebagai salah satu algoritme pengoptimalan yang paling sering digunakan untuk mendidik model pembelajaran mesin dengan menggunakan kemampuan meminimalkan kesalahan antara hasil sebenarnya dan hasil yang diharapkan. Selanjutnya, penurunan gradien juga digunakan untuk mengajar Jaringan Syaraf Tiruan.
Penurunan gradien adalah salah satu algoritme paling terkenal untuk mengoptimalkan fungsi dan merupakan cara paling umum untuk mengoptimalkan jaringan saraf. Pada saat yang sama, setiap perpustakaan Deep Learning terbaru menggabungkan implementasi berbagai algoritma untuk mengoptimalkan penurunan gradien. Namun, algoritme ini sering digunakan sebagai pengoptimal kotak hitam, karena penjelasan realistis mengenai kekuatan dan kelemahannya sulit didapat.
Keuntungan
A. Perhitungan Mudah.
B. Mudah Diimplementasikan
C. Mudah dimengerti
Kekurangan:
A. Mungkin terjebak pada titik minimum terdekat.
B. Bobot diubah setelah menghitung gradien pada kumpulan data lengkap. jadi, jika kumpulan datanya terlalu besar maka mungkin perlu waktu bertahun-tahun untuk mencapai titik minimum.
Berbagai jenis penurunan Gradien adalah:
1. Penurunan Gradien Batch
Dalam gradien batch, kami menggunakan seluruh kumpulan data untuk menghitung gradien karakteristik harga untuk setiap rilis baru penurunan gradien dan kemudian mengganti bobotnya.
2. Penurunan Gradien Stokastik
Ini adalah varian dari Gradient Descent. Ia mencoba mengganti parameter model lebih sering. Dalam hal ini, parameter model diubah setelah penghitungan kerugian pada setiap contoh pelatihan.
3. Penurunan Gradien batch mini
Gradien batch mini adalah varian penurunan gradien di mana dimensi batch berisi lebih dari satu dan kurang dari kumpulan data lengkap. Penurunan gradien batch mini banyak digunakan dan menyatu lebih cepat serta ekstra stabil
Jenis Pengoptimal
Sulit untuk melebih-lebihkan betapa terkenalnya penurunan gradien, dan ini digunakan di seluruh papan bahkan hingga arsitektur internet neural yang rumit (propagasi mundur pada dasarnya adalah penurunan gradien yang diterapkan pada jaringan). Ada berbagai jenis pengoptimal berdasarkan penurunan gradien yang digunakan, dan berikut beberapa di antaranya:
Ada Delta
adam
Ringkasan
Di sini, kita melihat tentang algoritma penurunan gradien, kelebihan, kekurangan, dan berbagai jenis pengoptimal.
