Еженедельник WhyLabs: Мониторинг моделей LLM с обнимающим лицом

Наблюдаемость ИИ для LLM «Обнимание лица», защита и мониторинг больших языковых моделей, интеграция LangChain и многое другое!

Каждую неделю в сообществе надежного и ответственного ИИ (R2AI) WhyLabs происходит много событий! Это еженедельное обновление служит подведением итогов, чтобы вы ничего не пропустили!

Начните изучать MLOps и мониторинг машинного обучения:

• 📅 Присоединяйтесь к следующему событию: LLM в производстве: извлеченные уроки
• 💻 Ознакомьтесь с нашими проектами с открытым исходным кодом whatlogs и LangKit!
• 💬 Присоединяйтесь к 1155 надежным и ответственным участникам AI Slack.
• 🤝 Запросите демонстрацию , чтобы узнать, какую пользу вам может принести мониторинг машинного обучения.

💡 MLOps Совет недели:

Добавьте мониторинг машинного обучения в свои приложения Hugging Face LLM с помощью библиотеки LangKit с открытым исходным кодом!

После того, как преобразователи Hugging Face и LangKit установлены в вашей среде Python и установлены ключи API WhyLabs, можно легко добавить мониторинг машинного обучения в приложение большой языковой модели, созданное с помощью модели Hugging Face. Попробуйте в примере тетради.

from whylogs.api.writer.whylabs import WhyLabsWriter
from langkit import llm_metrics # alternatively use 'light_metrics'
import whylogs as why

schema = llm_metrics.init()

# Upload a Single Profile
telemetry_agent = WhyLabsWriter()
profile = why.log(prompt_and_response, schema=schema)
telemetry_agent.write(profile.view())

Метрики из подсказок и ответов могут быть зарегистрированы в WhyLabs для EDA и обнаружения аномалий.

С помощью LangKit вы сможете извлекать и отслеживать соответствующие сигналы моделей Hugging Face LLM, например:

• Качество текста
• Текстовая релевантность
• Безопасность и конфиденциальность
• Настроение и токсичность

Попробуйте пример Hugging Face + LangKit в Google Colab.

📝 Последние записи в блоге:

Мониторинг производительности LLM с помощью LangChain и LangKit

Большие языковые модели (LLM) служат основой современных приложений на основе ИИ. Эти модели стали фундаментальным инструментом для большинства организаций, начиная от поддержки интерфейсов поддержки клиентов, создания контента, улучшения интеллектуального ввода текста и оптимизации поиска информации. Подробнее на WhyLabs.AI

Защита и мониторинг приложений большой языковой модели (LLM)

Модели больших языков (LLM) становятся все более мощными инструментами для генерации текста, но с большой мощностью возникает необходимость ответственного использования. Поскольку LLM развернуты в различных приложениях, становится крайне важным отслеживать их поведение и внедрять меры безопасности для предотвращения потенциальных проблем, таких как недопустимые подсказки и ответы или наличие конфиденциального содержимого. Подробнее на WhyLabs.AI

🎥 Записи событий

Мониторинг больших языковых моделей в производственной среде с использованием OpenAI и WhyLabs

На этом семинаре Сейдж Эллиот показывает, как отслеживать модели больших языков (LLM) в производстве с помощью Hugging Face, WhyLabs и библиотеки LangKit.

• 🔎 Понимание: отслеживайте изменения в поведении, чтобы оценивать системные подсказки, ответы и взаимодействие с пользователем.
• 🛡️ Guardrail: настройте допустимые пределы, чтобы указать такие вещи, как вредоносные подсказки, токсичные ответы, галлюцинации и попытки взлома.
• 🚨 Обнаружение: настройте мониторы и оповещения, чтобы предотвратить нежелательное поведение.

📅 Предстоящие события R2AI и WhyLabs:

• 7/27 LLM в производстве: извлеченные уроки — Джо Хейтцеберг, генеральный директор Blueprint AI
• 7/27 Счастливый час MLOps [Личный Сиэтл] @ Optimism
• 8/2 Введение в мониторинг машинного обучения: дрейф данных, качество, предвзятость и объяснимость
• 8/9 Объединение возможностей LLM с компьютерным зрением — Джейкоб Маркс, Voxel51

💻 Обновления с открытым исходным кодом WhyLabs:

Вышел выпуск версии whatlogs v1.2.5!

Whylogs — это открытый стандарт для регистрации данных и телеметрии ИИ. Обновление этой недели включает в себя:

• Передать только необходимые столбцы в строку UDF
• Обновление подписи UDF и типы данных Python
• Ранжирование Пример — обновления документации
• WhyLabs Writer — отмечайте известные пользовательские показатели производительности.

Полные примечания к выпуску Whylogs см. на Github.

Вышел релиз LangKit 0.0.7!

LangKit — это набор инструментов текстовых метрик с открытым исходным кодом для мониторинга языковых моделей.

• Добавить определение кодировки при загрузке тем json
• Мониторинг поведения LLM пример

Полные примечания к выпуску LangKit см. на Github.

🤝 Оставайтесь на связи с сообществом WhyLabs:

Присоединяйтесь к тысячам инженеров по машинному обучению и специалистов по данным, которые уже используют WhyLabs для решения некоторых из самых сложных задач мониторинга машинного обучения!

• 1155+ надежных и ответственных членов AI Slack
• 2305+ звезд GitHub за почему
• 1066+ надежных и ответственных участников AI Meetup
• 9 205+ подписчиков WhyLabs LinkedIn
• 872+ подписчика WhyLabs Twitter

Запросите демонстрацию, чтобы узнать, какую пользу может принести мониторинг машинного обучения вашей компании.

Увидимся в следующий раз! — Сейдж Эллиотт, технический евангелист.