การสังเกตด้วย AI สำหรับการกอดใบหน้า LLM, การปกป้องและการตรวจสอบโมเดลภาษาขนาดใหญ่, การบูรณาการ LangChain และอีกมากมาย!
มีอะไรเกิดขึ้นมากมายทุกสัปดาห์ในชุมชน WhyLabs Robust & Responsible AI (R2AI)! การอัปเดตประจำสัปดาห์นี้ถือเป็นการสรุปเพื่อให้คุณไม่พลาดสิ่งใด!
เริ่มเรียนรู้เกี่ยวกับ MLOps และ ML Monitoring:
- 📅 เข้าร่วมกิจกรรมถัดไป: LLMs in Production: Lessons Learned
- 💻 ตรวจสอบโครงการโอเพ่นซอร์สของเรา Whylogs & LangKit!
- 💬 เข้าร่วม 1,155 ที่แข็งแกร่งและมีความรับผิดชอบ สมาชิก AI Slack
- 🤝 ขอตัวอย่าง เพื่อเรียนรู้ว่าการตรวจสอบ ML มีประโยชน์ต่อคุณอย่างไร
💡 เคล็ดลับ MLOps ประจำสัปดาห์:
เพิ่มการตรวจสอบ ML ให้กับแอปพลิเคชัน Hugging Face LLM ของคุณด้วยโอเพ่นซอร์ส ไลบรารี LangKit!
เมื่อหม้อแปลง Hugging Face และ LangKit ได้รับการติดตั้งในสภาพแวดล้อม Python และตั้งค่าคีย์ WhyLabs API แล้ว การเพิ่มการตรวจสอบ ML ให้กับแอปพลิเคชันโมเดลภาษาขนาดใหญ่ที่สร้างด้วยโมเดล Hugging Face ก็เป็นเรื่องง่าย ลองใช้ในสมุดบันทึกตัวอย่าง.
from whylogs.api.writer.whylabs import WhyLabsWriter from langkit import llm_metrics # alternatively use 'light_metrics' import whylogs as why schema = llm_metrics.init() # Upload a Single Profile telemetry_agent = WhyLabsWriter() profile = why.log(prompt_and_response, schema=schema) telemetry_agent.write(profile.view())
ตัวชี้วัดจากข้อความแจ้งและการตอบกลับสามารถบันทึกไว้ใน WhyLabs สำหรับ EDA และการตรวจจับความผิดปกติ
ด้วย LangKit คุณจะสามารถแยกและตรวจสอบสัญญาณที่เกี่ยวข้องจากโมเดล Hugging Face LLM เช่น:
ลองใช้ตัวอย่าง Hugging Face + LangKit ใน "Google Colab"
dict โพสต์บล็อกล่าสุด:
การตรวจสอบประสิทธิภาพ LLM ด้วย LangChain และ LangKit
โมเดลภาษาขนาดใหญ่ (LLM) ทำหน้าที่เป็นเสาหลักในแอปพลิเคชันที่ขับเคลื่อนด้วย AI ในปัจจุบัน ตั้งแต่การขับเคลื่อนอินเทอร์เฟซการสนับสนุนลูกค้า การสร้างเนื้อหา การปรับปรุงข้อความคาดการณ์ และความคล่องตัวในการเรียกข้อมูล โมเดลเหล่านี้ได้กลายเป็นเครื่องมือพื้นฐานสำหรับองค์กรส่วนใหญ่ อ่านเพิ่มเติมเกี่ยวกับ WhyLabs.AI
การป้องกันและการตรวจสอบแอปพลิเคชันโมเดลภาษาขนาดใหญ่ (LLM)
โมเดลภาษาขนาดใหญ่ (LLM) ได้กลายเป็นเครื่องมือที่ทรงพลังมากขึ้นในการสร้างข้อความ แต่ด้วยพลังอันมหาศาลทำให้ต้องมีการใช้งานอย่างมีความรับผิดชอบ เนื่องจากมีการใช้งาน LLM ในแอปพลิเคชันต่างๆ การตรวจสอบพฤติกรรมและใช้การป้องกันเพื่อป้องกันปัญหาที่อาจเกิดขึ้น เช่น การแจ้งเตือนและการตอบสนองที่เป็นพิษ หรือการมีอยู่ของเนื้อหาที่ละเอียดอ่อนจึงกลายเป็นสิ่งสำคัญ อ่านเพิ่มเติมเกี่ยวกับ WhyLabs.AI
📷 บันทึกเหตุการณ์
การตรวจสอบโมเดลภาษาขนาดใหญ่ในการผลิตโดยใช้ OpenAI และ WhyLabs
ในเวิร์กช็อปนี้ Sage Elliott จะแสดงวิธีตรวจสอบโมเดลภาษาขนาดใหญ่ (LLM) ในการผลิตโดยใช้ Hugging Face, WhyLabs และไลบรารี LangKit
- 🔎 ทำความเข้าใจ: ติดตามการเปลี่ยนแปลงพฤติกรรมเพื่อประเมินการแจ้งเตือนของระบบ การตอบสนอง และการโต้ตอบของผู้ใช้
- 🛡️ Guardrail: กำหนดค่าขีดจำกัดที่ยอมรับได้เพื่อระบุสิ่งต่างๆ เช่น ข้อความเตือนที่เป็นอันตราย การตอบสนองที่เป็นพิษ ภาพหลอน และการพยายามแหกคุก
- 🚨 ตรวจจับ: ตั้งค่าการตรวจสอบและการแจ้งเตือนเพื่อช่วยป้องกันพฤติกรรมที่ไม่พึงประสงค์
📅 กิจกรรม R2AI และ WhyLabs ที่กำลังจะมีขึ้น:
- 27/7/20 “LLM ในการผลิต: บทเรียนที่ได้รับ — Joe Heitzeberg, CEO Blueprint AI”
- 27 ก.ค. MLOps Happy Hour [ซีแอตเทิลด้วยตนเอง] @ การมองในแง่ดี
- 8/2 ข้อมูลเบื้องต้นเกี่ยวกับการตรวจสอบ ML: การเลื่อนลอยของข้อมูล คุณภาพ อคติ และความสามารถในการอธิบาย
- 8/9 การรวมพลังของ LLM เข้ากับ Computer Vision — Jacob Marks, Voxel51
💻 การอัปเดตโอเพ่นซอร์สของ WhyLabs:
whylogs v1.2.5 เปิดตัวแล้ว!
whylogs เป็นมาตรฐานแบบเปิดสำหรับการบันทึกข้อมูลและการวัดและส่งข้อมูลทางไกลของ AI การอัปเดตประจำสัปดาห์นี้ประกอบด้วย:
- ส่งเฉพาะคอลัมน์ที่จำเป็นไปยังแถว UDF
- การอัปเดตลายเซ็น UDF และประเภทข้อมูล Python
- การจัดอันดับ ตัวอย่าง — การอัพเกรดเอกสาร
- WhyLabs Writer — ติดแท็กเมตริกประสิทธิภาพแบบกำหนดเองที่รู้จัก
ดูบันทึกประจำรุ่นของ Whylogs ฉบับเต็มได้ที่ Github.
LangKit ปล่อย 0.0.7 แล้ว!
LangKit เป็นชุดเครื่องมือเมตริกข้อความแบบโอเพ่นซอร์สสำหรับตรวจสอบโมเดลภาษา
- เพิ่มคำจำกัดความการเข้ารหัสเมื่อโหลดธีม json
- การตรวจสอบพฤติกรรม LLM ตัวอย่าง
ดูบันทึกประจำรุ่น LangKit ฉบับเต็มได้ที่ Github
🤝 เชื่อมต่อกับชุมชน WhyLabs:
เข้าร่วมกับวิศวกรแมชชีนเลิร์นนิงและนักวิทยาศาสตร์ข้อมูลหลายพันคนที่ใช้ WhyLabs อยู่แล้วเพื่อแก้ปัญหาการตรวจสอบ ML ที่ท้าทายที่สุดบางกรณี!
- 1,155+ แข็งแกร่งและมีความรับผิดชอบ สมาชิก AI Slack
- 2,305+ Whylogs GitHub Stars
- 1,066+ แข็งแกร่งและมีความรับผิดชอบ AI Meetup Members
- ผู้ติดตาม WhyLabs LinkedIn มากกว่า 9,205 คน
- ผู้ติดตาม WhyLabs Twitter มากกว่า 872 คน
ขอรับการสาธิต เพื่อเรียนรู้ว่าการตรวจสอบ ML มีประโยชน์ต่อบริษัทของคุณอย่างไร
เจอกันคราวหน้า! — ปราชญ์ เอลเลียต ผู้เผยแพร่ด้านเทคนิค