การสังเกตด้วย AI สำหรับการกอดใบหน้า LLM, การปกป้องและการตรวจสอบโมเดลภาษาขนาดใหญ่, การบูรณาการ LangChain และอีกมากมาย!

มีอะไรเกิดขึ้นมากมายทุกสัปดาห์ในชุมชน WhyLabs Robust & Responsible AI (R2AI)! การอัปเดตประจำสัปดาห์นี้ถือเป็นการสรุปเพื่อให้คุณไม่พลาดสิ่งใด!

เริ่มเรียนรู้เกี่ยวกับ MLOps และ ML Monitoring:

  • 📅 เข้าร่วมกิจกรรมถัดไป: LLMs in Production: Lessons Learned
  • 💻 ตรวจสอบโครงการโอเพ่นซอร์สของเรา Whylogs & LangKit!
  • 💬 เข้าร่วม 1,155 ที่แข็งแกร่งและมีความรับผิดชอบ สมาชิก AI Slack
  • 🤝 ขอตัวอย่าง เพื่อเรียนรู้ว่าการตรวจสอบ ML มีประโยชน์ต่อคุณอย่างไร

💡 เคล็ดลับ MLOps ประจำสัปดาห์:

เพิ่มการตรวจสอบ ML ให้กับแอปพลิเคชัน Hugging Face LLM ของคุณด้วยโอเพ่นซอร์ส ไลบรารี LangKit!

เมื่อหม้อแปลง Hugging Face และ LangKit ได้รับการติดตั้งในสภาพแวดล้อม Python และตั้งค่าคีย์ WhyLabs API แล้ว การเพิ่มการตรวจสอบ ML ให้กับแอปพลิเคชันโมเดลภาษาขนาดใหญ่ที่สร้างด้วยโมเดล Hugging Face ก็เป็นเรื่องง่าย ลองใช้ในสมุดบันทึกตัวอย่าง.

from whylogs.api.writer.whylabs import WhyLabsWriter
from langkit import llm_metrics # alternatively use 'light_metrics'
import whylogs as why

schema = llm_metrics.init()

# Upload a Single Profile
telemetry_agent = WhyLabsWriter()
profile = why.log(prompt_and_response, schema=schema)
telemetry_agent.write(profile.view())

ตัวชี้วัดจากข้อความแจ้งและการตอบกลับสามารถบันทึกไว้ใน WhyLabs สำหรับ EDA และการตรวจจับความผิดปกติ

ด้วย LangKit คุณจะสามารถแยกและตรวจสอบสัญญาณที่เกี่ยวข้องจากโมเดล Hugging Face LLM เช่น:

ลองใช้ตัวอย่าง Hugging Face + LangKit ใน "Google Colab"

dict โพสต์บล็อกล่าสุด:

การตรวจสอบประสิทธิภาพ LLM ด้วย LangChain และ LangKit

โมเดลภาษาขนาดใหญ่ (LLM) ทำหน้าที่เป็นเสาหลักในแอปพลิเคชันที่ขับเคลื่อนด้วย AI ในปัจจุบัน ตั้งแต่การขับเคลื่อนอินเทอร์เฟซการสนับสนุนลูกค้า การสร้างเนื้อหา การปรับปรุงข้อความคาดการณ์ และความคล่องตัวในการเรียกข้อมูล โมเดลเหล่านี้ได้กลายเป็นเครื่องมือพื้นฐานสำหรับองค์กรส่วนใหญ่ อ่านเพิ่มเติมเกี่ยวกับ WhyLabs.AI

การป้องกันและการตรวจสอบแอปพลิเคชันโมเดลภาษาขนาดใหญ่ (LLM)

โมเดลภาษาขนาดใหญ่ (LLM) ได้กลายเป็นเครื่องมือที่ทรงพลังมากขึ้นในการสร้างข้อความ แต่ด้วยพลังอันมหาศาลทำให้ต้องมีการใช้งานอย่างมีความรับผิดชอบ เนื่องจากมีการใช้งาน LLM ในแอปพลิเคชันต่างๆ การตรวจสอบพฤติกรรมและใช้การป้องกันเพื่อป้องกันปัญหาที่อาจเกิดขึ้น เช่น การแจ้งเตือนและการตอบสนองที่เป็นพิษ หรือการมีอยู่ของเนื้อหาที่ละเอียดอ่อนจึงกลายเป็นสิ่งสำคัญ อ่านเพิ่มเติมเกี่ยวกับ WhyLabs.AI

📷 บันทึกเหตุการณ์

การตรวจสอบโมเดลภาษาขนาดใหญ่ในการผลิตโดยใช้ OpenAI และ WhyLabs

ในเวิร์กช็อปนี้ Sage Elliott จะแสดงวิธีตรวจสอบโมเดลภาษาขนาดใหญ่ (LLM) ในการผลิตโดยใช้ Hugging Face, WhyLabs และไลบรารี LangKit

  • 🔎 ทำความเข้าใจ: ติดตามการเปลี่ยนแปลงพฤติกรรมเพื่อประเมินการแจ้งเตือนของระบบ การตอบสนอง และการโต้ตอบของผู้ใช้
  • 🛡️ Guardrail: กำหนดค่าขีดจำกัดที่ยอมรับได้เพื่อระบุสิ่งต่างๆ เช่น ข้อความเตือนที่เป็นอันตราย การตอบสนองที่เป็นพิษ ภาพหลอน และการพยายามแหกคุก
  • 🚨 ตรวจจับ: ตั้งค่าการตรวจสอบและการแจ้งเตือนเพื่อช่วยป้องกันพฤติกรรมที่ไม่พึงประสงค์

📅 กิจกรรม R2AI และ WhyLabs ที่กำลังจะมีขึ้น:

💻 การอัปเดตโอเพ่นซอร์สของ WhyLabs:

whylogs v1.2.5 เปิดตัวแล้ว!

whylogs เป็นมาตรฐานแบบเปิดสำหรับการบันทึกข้อมูลและการวัดและส่งข้อมูลทางไกลของ AI การอัปเดตประจำสัปดาห์นี้ประกอบด้วย:

  • ส่งเฉพาะคอลัมน์ที่จำเป็นไปยังแถว UDF
  • การอัปเดตลายเซ็น UDF และประเภทข้อมูล Python
  • การจัดอันดับ ตัวอย่าง — การอัพเกรดเอกสาร
  • WhyLabs Writer — ติดแท็กเมตริกประสิทธิภาพแบบกำหนดเองที่รู้จัก

ดูบันทึกประจำรุ่นของ Whylogs ฉบับเต็มได้ที่ Github.

LangKit ปล่อย 0.0.7 แล้ว!

LangKit เป็นชุดเครื่องมือเมตริกข้อความแบบโอเพ่นซอร์สสำหรับตรวจสอบโมเดลภาษา

  • เพิ่มคำจำกัดความการเข้ารหัสเมื่อโหลดธีม json
  • การตรวจสอบพฤติกรรม LLM ตัวอย่าง

ดูบันทึกประจำรุ่น LangKit ฉบับเต็มได้ที่ Github

🤝 เชื่อมต่อกับชุมชน WhyLabs:

เข้าร่วมกับวิศวกรแมชชีนเลิร์นนิงและนักวิทยาศาสตร์ข้อมูลหลายพันคนที่ใช้ WhyLabs อยู่แล้วเพื่อแก้ปัญหาการตรวจสอบ ML ที่ท้าทายที่สุดบางกรณี!

  • 1,155+ แข็งแกร่งและมีความรับผิดชอบ สมาชิก AI Slack
  • 2,305+ Whylogs GitHub Stars
  • 1,066+ แข็งแกร่งและมีความรับผิดชอบ AI Meetup Members
  • ผู้ติดตาม WhyLabs LinkedIn มากกว่า 9,205 คน
  • ผู้ติดตาม WhyLabs Twitter มากกว่า 872 คน

ขอรับการสาธิต เพื่อเรียนรู้ว่าการตรวจสอบ ML มีประโยชน์ต่อบริษัทของคุณอย่างไร

เจอกันคราวหน้า! — ปราชญ์ เอลเลียต ผู้เผยแพร่ด้านเทคนิค