รูปแบบการโต้ตอบด้วยภาพสำหรับ NLP

การใช้ LIT เพื่อสร้างอินเทอร์เฟซแบบภาพเพื่อทำความเข้าใจโมเดลการเรียนรู้ของเครื่องที่ใช้ NLP

NLP (การประมวลผลภาษาธรรมชาติ) เป็นสาขาหนึ่งของ Data Science ที่เกี่ยวข้องกับการทำความเข้าใจและการวิเคราะห์ชุดข้อมูลที่เป็นข้อความ เช่น การวิเคราะห์ความรู้สึก การสร้างแชทบอท โปรแกรมแนะนำ ฯลฯ นี่เป็นหนึ่งในแนวคิดที่ล้ำหน้าที่สุดของปัญญาประดิษฐ์

ด้วยการถือกำเนิดของอัลกอริธึมและเทคโนโลยีที่มากขึ้นเรื่อยๆ การสร้างแบบจำลอง NLP จึงกลายเป็นเรื่องง่าย แต่การทำความเข้าใจแบบจำลองและวิธีการสร้างการคาดการณ์นั้นยังไม่มีการสำรวจ เราจะเข้าใจได้อย่างไรว่าข้อมูลใดที่โมเดลของฉันทำงานได้ไม่ดี โมเดลของฉันมีแนวโน้มที่จะมีพฤติกรรมที่ไม่เป็นมิตรหรือไม่? โมเดลของฉันจะทำงานอย่างไรหากฉันเปลี่ยนรูปแบบของข้อมูลข้อความ

คำถามเหล่านี้สามารถตอบและวิเคราะห์ได้อย่างง่ายดายโดยใช้ LIT เป็นไลบรารี Python แบบโอเพ่นซอร์สที่ใช้ในการสร้างแดชบอร์ดเชิงโต้ตอบที่มองเห็นได้ ซึ่งสามารถใช้เพื่อวิเคราะห์โมเดล NLP การทำนาย พฤติกรรม ฯลฯ ในลักษณะโต้ตอบที่ดึงดูดสายตาและโต้ตอบได้

ในบทความนี้ เราจะสำรวจ LIT และสร้างแดชบอร์ดแบบโต้ตอบสำหรับการวิเคราะห์โมเดล NLP

มาเริ่มกันเลย…

การติดตั้งไลบรารีที่จำเป็น

เราจะเริ่มต้นด้วยการติดตั้ง LIT โดยใช้การติดตั้ง pip คำสั่งที่ระบุด้านล่างจะติดตั้ง LIT โดยใช้ pip

!pip uninstall -y tensorflow-datasets
!pip install lit_nlp tfds-nightly transformers==4.1.1

กำลังดาวน์โหลดตุ้มน้ำหนักโมเดล

ในขั้นตอนแรกนี้ เราจะเริ่มต้นด้วยการดาวน์โหลดตุ้มน้ำหนักโมเดลที่ได้รับการฝึกล่วงหน้า ซึ่งจะใช้สำหรับโมเดลที่เราจะวิเคราะห์

!wget https://storage.googleapis.com/what-if-tool-resources/lit-models/sst2_tiny.tar.gz
!tar -xvf sst2_tiny.tar.gz

การนำเข้าไลบรารีที่จำเป็น

ในขั้นตอนนี้ เราจะนำเข้าไลบรารีทั้งหมดที่จำเป็นในการโหลดชุดข้อมูล โหลดโมเดล NLP ที่มีอยู่จากตัวอย่าง LIT และแสดงผลโดยใช้ LIT

from lit_nlp import notebook
from lit_nlp.examples.datasets import glue
from lit_nlp.examples.models import glue_models
datasets = {'sst_dev': glue.SST2Data('validation')}
models = {'sst_tiny': glue_models.SST2Model('./')}
widget = notebook.LitWidget(models, datasets, height=800)

หลังจากนี้ ขั้นตอนสุดท้ายคือการแสดงผลวิดเจ็ตนี้ในสมุดบันทึก Colab และแสดงภาพแดชบอร์ด

การแสดงแดชบอร์ด

คำสั่งที่ระบุด้านล่างจะแสดงแดชบอร์ดในโน้ตบุ๊กเอง

widget.render()

ในแดชบอร์ดนี้มีส่วนต่างๆ ที่เราสามารถวิเคราะห์ข้อมูลและดูว่ามันทำงานอย่างไร เราสามารถวิเคราะห์ทุกการคาดการณ์แยกกัน และมีตัวเลือกอื่นๆ อีกมากมาย คุณสามารถเห็นภาพฟังก์ชันต่างๆ ได้ในวิดีโอด้านล่าง

ที่นี่คุณจะเห็นว่าเราสามารถวิเคราะห์โมเดล NLP ได้อย่างง่ายดายเพียงใดโดยใช้แดชบอร์ดที่มีการโต้ตอบสูงและดึงดูดสายตา

ลองใช้ชุดข้อมูลต่างๆ สร้างแดชบอร์ดเหล่านี้แล้วแจ้งให้เราทราบความคิดเห็นของคุณในส่วนตอบกลับ

บทความนี้ได้รับความร่วมมือจาก ปิยุช อิงกาเล

ก่อนที่คุณจะไป

ขอบคุณ ที่อ่าน! หากคุณต้องการติดต่อกับฉัน โปรดติดต่อฉันได้ที่ [email protected] หรือใน โปรไฟล์ LinkedIn ของฉัน คุณสามารถดูโปรไฟล์ Github ของฉันสำหรับโครงการวิทยาศาสตร์ข้อมูลต่างๆ และบทช่วยสอนเกี่ยวกับแพ็คเกจได้ นอกจากนี้ อย่าลังเลที่จะสำรวจ "โปรไฟล์ของฉัน" และอ่านบทความต่างๆ ที่ฉันเขียนเกี่ยวกับวิทยาศาสตร์ข้อมูล