Apakah Anda seorang ilmuwan atau insinyur data berbasis data yang ingin memiliki kendali penuh atas model Keras Anda dan ingin terbebas dari perpindahan dan pencarian parameter yang tidak ada gunanya?
Pengoptimalan hyperparameter umumnya memerlukan pelatihan model beberapa kali dengan konfigurasi berbeda yang berarti diperlukan komputer cepat dengan beberapa kartu grafis untuk mengurangi jeda waktu dengan melatih model lebih cepat. Setelah membaca postingan ini, Anda akan dapat mengonfigurasi model Keras Anda untuk eksperimen pengoptimalan hyperparameter x3 lebih cepat dan menghasilkan teknologi canggih di TPU secara gratis, dibandingkan dengan menjalankan pengaturan yang sama pada GTX1070 tunggal saya.
Berdasarkan pengalaman saya terhadap beberapa solusi pengoptimalan hyperparameter open source dengan dukungan Keras di luar sana, Talos menawarkan akses paling intuitif, mudah dipelajari, dan permisif ke kemampuan pengoptimalan hyperparameter yang penting. Mari buat eksperimen untuk mencari parameter model CNN terbaik untuk memprediksi kumpulan data mode MNIST dengan Talos.
Notebook dasar yang menjalankan pengoptimalan hyperparameter pada GPU GTX1070 tunggal saya dan versi TPU keduanya tersedia di GitHub saya.
Siapkan model Keras untuk optimasi hyperparameter
Tidak seperti beberapa alat pencarian arsitektur saraf lainnya seperti Keras Otomatis, tidak ada kotak hitam selama proses pengoptimalan hyperparameter, dan Anda bebas menentukan opsi untuk pencarian parameter.
Pertimbangkan calon model CNN di Keras untuk tugas klasifikasi mode MNIST yang biasa Anda tulis.
Untuk mempersiapkan model pemindaian Talos untuk mendapatkan hyperparameter yang optimal, cukup ganti hyperparameter yang ingin Anda sertakan dalam pemindaian dengan referensi ke kamus parameter Anda seperti di bawah ini,
Nilai params akan menjadi kamus yang diteruskan ke fungsi fashion_mnist_fn selama pemindaian secara dinamis saat pemindaian Talos sedang berjalan. Sadarilah bahwa fungsi tersebut akan mengembalikan keluaran metrik riwayat model.fit() bersama dengan model itu sendiri sehingga pemindai Talos dapat menilai kinerja model setelah pelatihan.
Inilah cara Anda menentukan daftar hyperparameter dan memulai pencarian.
Talos mendukung beberapa strategi pengoptimalan umum, untuk pencarian grid paling sederhana, kombinasi parameter akan dimasukkan ke fashion_mnist_fn yang Anda tentukan sebelumnya untuk pelatihan model.
Jalankan pemindaian hyperparameter pada TPU
Jika Anda menjalankan pemindaian sebelumnya, pemindaian ini hanya akan berjalan di perangkat TensorFlow default Anda, baik CPU atau GPU.
Namun, untuk menjalankan seluruh proses lebih cepat dengan Cloud TPU, beberapa langkah tambahan harus dilakukan setelah Anda membuat model dan mengonversi model menjadi model TPU.
Sadarilah perbedaan yang terjadi pada langkah 1, 3, dan 4. Ukuran batch 1024 akan dibagi menjadi 8 inti TPU secara merata dengan setiap pelatihan pada 128 batch sampel input.
Setelah pemindaian selesai, Anda memulihkan indeks model terbaik dengan akurasi validasi tertinggi atau metrik lain pilihan Anda.
Tolok ukur dan kesimpulan
Perlu waktu 12:29 untuk sepenuhnya melatih 8 variasi CNN dengan hyperparameter variabel di TPU dibandingkan dengan pelatihan 40:18 di GTX 1070 saya.
Pastikan untuk memeriksa "notebook" Colab yang dapat dijalankan untuk tutorial ini dan notebook Jupyter mitra GPU/CPU di "GitHub" saya.
Ingin melatih model RNN Keras x20 kali lebih cepat dengan TPU? Baca postingan saya sebelumnya — Cara melatih model Keras x20 kali lebih cepat dengan TPU gratis.
Baca juga lebih lanjut tentang Talos di Github.
Bagikan di Twitter Bagikan di Facebook
Awalnya diterbitkan di www.dlology.com.
Kisah ini diterbitkan di The Startup, publikasi kewirausahaan terbesar di Medium yang diikuti oleh +393.714 orang.
Berlangganan untuk menerima berita utama kami di sini.
