Menggunakan LIT untuk Membuat Antarmuka Visual untuk memahami Model Pembelajaran Mesin Berbasis NLP
NLP (Natural Language Processing) adalah cabang Ilmu Data yang berhubungan dengan pemahaman dan analisis kumpulan data teks, seperti menganalisis sentimen, membuat chatbot, mesin rekomendasi, dll. Ini adalah salah satu konsep Kecerdasan Buatan yang paling canggih.
Dengan semakin banyaknya algoritma dan teknologi, membuat model NLP menjadi tugas yang mudah tetapi pemahaman model dan bagaimana prediksi dihasilkan masih belum tereksplorasi. Bagaimana kami dapat memahami data mana yang performa model saya buruk? Apakah model saya rentan terhadap perilaku permusuhan? Bagaimana perilaku model saya jika saya mengubah gaya data teks?
Pertanyaan-pertanyaan ini sekarang dapat dengan mudah dijawab dan dianalisis menggunakan LIT. Ini adalah pustaka python sumber terbuka yang digunakan untuk membuat dasbor interaktif visual yang dapat digunakan untuk menganalisis model NLP, prediksinya, perilakunya, dll. dengan cara yang menarik secara visual dan interaktif.
Pada artikel ini, kita akan mengeksplorasi LIT dan membuat dashboard interaktif untuk menganalisis model NLP.
Mari kita mulai…
Menginstal perpustakaan yang diperlukan
Kita akan mulai dengan menginstal LIT menggunakan instalasi pip. Perintah yang diberikan di bawah ini akan menginstal LIT menggunakan pip.
!pip uninstall -y tensorflow-datasets !pip install lit_nlp tfds-nightly transformers==4.1.1
Mengunduh Bobot Model
Pada langkah pertama ini, kita akan mulai dengan mendownload bobot model terlatih, yang akan digunakan untuk model yang akan kita analisis.
!wget https://storage.googleapis.com/what-if-tool-resources/lit-models/sst2_tiny.tar.gz !tar -xvf sst2_tiny.tar.gz
Mengimpor perpustakaan yang diperlukan
Pada langkah ini, kita akan mengimpor semua perpustakaan yang diperlukan untuk memuat kumpulan data, memuat model NLP yang ada dari contoh LIT dan merendernya menggunakan LIT.
from lit_nlp import notebook
from lit_nlp.examples.datasets import glue
from lit_nlp.examples.models import glue_models
datasets = {'sst_dev': glue.SST2Data('validation')}
models = {'sst_tiny': glue_models.SST2Model('./')}
widget = notebook.LitWidget(models, datasets, height=800)
Setelah ini, langkah terakhir adalah merender widget ini di notebook Colab dan memvisualisasikan dasbor.
Memvisualisasikan Dasbor
Perintah yang diberikan di bawah ini akan merender dashboard di notebook itu sendiri.
widget.render()
Di Dasbor ini terdapat bagian berbeda di mana kita dapat menganalisis data dan melihat kinerjanya, kita dapat menganalisis setiap prediksi satu per satu dan masih banyak lagi opsi lainnya. Anda dapat memvisualisasikan berbagai fungsi dalam video di bawah ini.
Di sini Anda dapat melihat betapa mudahnya kita menganalisis Model NLP menggunakan dasbor yang sangat interaktif dan menarik secara visual.
Coba ini dengan kumpulan data yang berbeda, buat dasbor ini dan beri tahu saya komentar Anda di bagian tanggapan.
Artikel ini bekerja sama dengan Piyush Ingale.
Sebelum kamu pergi
Terima kasih telah membaca! Jika Anda ingin menghubungi saya, silakan menghubungi saya di [email protected] atau Profil LinkedIn saya. Anda dapat melihat profil Github saya untuk berbagai proyek ilmu data dan tutorial paket. Selain itu, jangan ragu untuk menjelajahi "profil saya" dan membaca berbagai artikel yang saya tulis terkait Ilmu Data.
