Автор: Зейнеп Бетюль Арикан, стажер по науке о данных @Mobiquity.
Недавние разработки в области искусственного интеллекта (ИИ) внедряют новые методы машинного обучения для решения все более сложных задач с более высокой прогностической способностью. Однако эта прогностическая способность сопровождается возрастающей сложностью, что может привести к трудностям при интерпретации этих моделей. Несмотря на то, что эти модели дают очень точные результаты, необходимо объяснение, чтобы понять решения модели и доверять им. Именно здесь на сцену выходит eXplainable Artificial Intelligence (XAI).
XAI — это развивающаяся область, которая фокусируется на различных методах, позволяющих разрушить природу моделей машинного обучения черный ящик и дать объяснения на уровне человека. Этот черный ящик представляет модели, которые слишком сложны для интерпретации, другими словами, непрозрачные модели, такие как популярные модели глубокого обучения. Конечно, не все модели машинного обучения слишком сложны, есть и прозрачные модели, такие как линейная/логистическая регрессия и деревья решений. Эти модели могут предоставить некоторую информацию о взаимосвязи между значением признака и целевым результатом, что делает их более легкими для интерпретации. Однако это не относится к сложным моделям.
Зачем нужен ХАИ?
Как объяснил коллега в предыдущем блоге Можем ли мы доверять ИИ, если не знаем, как он работает?, основная причина, по которой нам нужен XAI, — обеспечить доверие. Важно объяснить решения модели, чтобы иметь возможность доверять им. Особенно при принятии решения на основе прогнозов, когда результаты этого решения касаются безопасности человека. Еще одна причина, по которой необходим XAI, заключается в том, чтобы обнаружить и понять предвзятость в этих решениях. Поскольку предвзятость можно обнаружить во многих аспектах повседневной жизни, неудивительно, что она может существовать в наборах данных, используемых на практике, даже в тех, которые хорошо зарекомендовали себя. Проблемы предвзятости могут привести к несправедливости в отношении дискриминационных характеристик, таких как пол или раса. Этот вопрос также исследуется в недавнем документальном фильме на Netflix, в котором подчеркивается важность предвзятых алгоритмов машинного обучения и их влияние на общество. XAI может быть полезен, помогая нам выявлять и понимать проблемы справедливости и, следовательно, иметь возможность их устранять. Если вам нужно больше убедительности, вы можете найти гораздо больше причин, упомянутых в почему объяснимого ИИ.
Различные подходы к классификации XAI
Существует множество методов, используемых для XAI, но, поскольку это очень новая область, пока нет единого мнения по терминам и таксономии. Поэтому могут быть разные точки зрения на классификацию этих методов. Вот 3 различных подхода к категоризации:
Категоризация на основе применимости метода к различным моделям
Первый подход основан на применимости метода к различным моделям. Когда мы можем применить метод объяснения к любой модели после ее обучения, мы можем назвать его независимым от модели. По мере того, как модели приобретают большую предсказательную силу, они могут терять свою прозрачность, поэтому применение метода после процесса обучения предотвращает жертвование предсказательной силой ради интерпретируемости. Это можно рассматривать как преимущество по сравнению с методами для конкретных моделей, которые ограничены только одной конкретной моделью, однако это не означает, что один всегда лучше другого.
Специфичные для модели подходы также называются внутренними методами, потому что они имеют доступ к внутренним компонентам модели, таким как веса в модели линейной регрессии.
Категоризация на основе объема объяснения
Другой подход - категоризация, основанная на объеме объяснения. Объяснение может потребоваться на уровне экземпляра или на уровне модели. Локальная интерпретируемость направлена на объяснение решений, которые модель принимает в отношении экземпляра. С другой стороны, глобальные объяснения направлены на то, чтобы ответить на вопрос, как параметры модели влияют на ее решения. Поэтому, когда модель имеет много параметров, глобальной объяснимости может быть трудно достичь.
Категоризация на основе стадии, на которой мы применяем методы объяснимости
Третий подход — это категоризация на основе этапа, на котором мы применяем методы объяснимости. Этими этапами являются предмоделирование, моделирование в процессе моделирования и постмоделирование (post-hoc). Цель предварительного моделирования объяснимости больше связана с изучением и пониманием набора данных. Для внутреннего моделирования необходимо разработать модели, которые говорят сами за себя или полностью наблюдаемы. Большая часть научных исследований, связанных с XAI, сосредоточена на апостериорных методах, которые направлены на объяснение сложных моделей после процесса обучения. Поскольку методы, не зависящие от модели, также применяются после обучения модели, по своей природе они также являются апостериорными методами.
Использование аддитивных объяснений Шепли (SHAP) в качестве метода объяснения
Чтобы иметь возможность понять решения модели, нам нужно использовать метод объяснения. Одним из таких методов объяснения является SHAP (Shapley Additive exPlanations). Это независимый от модели метод апостериорной объяснимости, который использует коалиционную теорию игр (Ценности Шепли) для оценки важности каждой функции. Он может предоставлять как локальные, так и глобальные объяснения, которые согласуются друг с другом, и имеет очень хороший пакет Python.
График выше представляет собой пример результатов классификации изображений с помощью двухслойной нейронной сети, которая выполняется на наборе данных MNIST, а затем объясняется SHAP. Он предоставляет объяснения для десяти выходных классов (красно-синие цифры от 0 до 9) 5 различных входных изображений. Краснота/голубизна каждого пикселя показывает, насколько этот пиксель вносит свой вклад в выходной класс; красный означает положительный вклад, а синий означает отрицательный. Когда мы смотрим на цифры 4 и 9, белые пиксели поверх цифры 4 больше всего способствуют маркировке ввода как цифры 4, потому что это коэффициент дифференциации цифр 4 и 9. Для цифры 0 белые пиксели в середине являются очень важно классифицировать эту цифру как 0. Дополнительные примеры и приложения SHAP можно найти в репозитории GitHub.
По мере того, как искусственный интеллект становится все более распространенным в нашей жизни, новые модели машинного обучения появляются до того, как мы должным образом понимаем базовые структуры существующих моделей. Важно интерпретировать эти модели, чтобы разработать более надежные и эффективные. Нам нужно устранить разрыв между решениями модели и причинами, лежащими в их основе, и SHAP — один из многих вариантов в области XAI для этого.
Хотите больше поболтать на эту тему? "Давайте поговорим"
Хотите узнать больше? Загрузите нашу бесплатную белую книгу на тему Преобразование здравоохранения с помощью обучения с подкреплением.
Надеемся, вам понравилось это читать, и не забудьте подписаться на нас, если хотите читать больше интересных историй.
Если вы ищете работу, присоединяйтесь к нам в Mobiquity:
Первоначально опубликовано на https://www.mobiquity.com.
