Если ваша организация использует модели искусственного интеллекта и машинного обучения для принятия важных решений, вы должны обеспечить производительность, справедливость, качество и объяснимость этих моделей. Такая строгая оценка – это не просто передовая практика; это необходимость.

К счастью, выпустив Cloud Pak for Data версии 4.7, IBM упростила мониторинг, оценку и улучшение развертываний ИИ, объединив возможности Watson OpenScale с Watson Machine Learning. В этом сообщении блога мы подробно рассмотрим, как можно отслеживать развертывания с помощью Watson OpenScale, как подробно описано в документе Оценка развертываний в пространствах с помощью Watson OpenScale.

Зачем оценивать модели ИИ?

Прежде чем мы углубимся в настройку оценок Watson OpenScale в пространствах развертывания, давайте поймем, почему оценки моделей важны. Модели ИИ используются в различных приложениях, от здравоохранения до финансов, и могут существенно повлиять на реальные результаты. Поэтому важно:

  • Оценка эффективности. Оценки помогают оценить эффективность вашей модели искусственного интеллекта. Верны ли прогнозы? Является ли модель последовательной во времени?
  • Обеспечите справедливость. Модели искусственного интеллекта должны давать объективные результаты, особенно при работе с такими чувствительными атрибутами, как пол, раса или возраст. Оценка справедливости гарантирует, что прогнозы модели не будут дискриминационными.
  • Оценка качества. Оценка качества определяет способность модели давать правильные результаты. Сравнивая прогнозы модели с помеченными тестовыми данными, вы можете оценить, соответствует ли ваша модель пороговым значениям качества.
  • Отслеживание отклонений. По мере изменения данных с течением времени модели могут становиться менее точными. Оценки дрейфа помогают гарантировать актуальность и согласованность ваших моделей, выявляя изменения в распределении данных и точности прогнозов.
  • Объяснимость. Понимание того, почему модель дает конкретные прогнозы, имеет важное значение для доверия и прозрачности. Оценки объяснимости помогают интерпретировать факторы, влияющие на прогноз.

Теперь, когда мы понимаем важность оценок моделей, давайте рассмотрим, как настроить оценки Watson OpenScale в пространствах развертывания.

Оценка развертывания моделей с помощью Watson OpenScale

Оценка моделей в пространствах развертывания включает в себя несколько шагов, как описано в документации. Вот упрощенное пошаговое руководство:

1. Создайте пространство для развертывания

Для начала создайте пространство развертывания и свяжите с ним экземпляр Watson OpenScale. В зависимости от ваших требований вы можете выбрать тип помещения, например, производственное или предпроизводственное.

2. Продвигайте свою модель

Продвигайте обученную модель машинного обучения, вводите данные в пространство развертывания и создайте онлайн-развертывание модели.

3. Настроить оценки

Теперь настройте оценки для мониторинга производительности вашей модели:

  • Мониторинг справедливости
    Настройте монитор справедливости, чтобы проверить, дает ли ваша модель предвзятые результаты для различных групп, таких как пол или раса. Установите пороговые значения для измерения прогнозов для отслеживаемой группы по сравнению с контрольной группой.
  • Мониторинг качества
    Настройте монитор качества, чтобы оценивать производительность вашей модели на основе помеченных тестовых данных. Установите пороговые значения качества, чтобы отслеживать, когда значение метрики выходит за пределы допустимого диапазона.
  • Мониторинг отклонений
    Настройте монитор отклонений, чтобы обеспечить актуальность и согласованность ваших развертываний. Используйте важность функции, чтобы определить влияние отклонения функции на вашу модель.

4. Объяснение транзакций

Настройте параметры объяснимости, чтобы понять, какие функции влияют на прогнозы вашей модели. Для удовлетворения ваших потребностей доступны различные методы, такие как SHAP и LIME.

5. Укажите подробную информацию о модели

Чтобы эффективно настроить оценки, предоставьте сведения о модели, включая информацию о данных обучения и выходных данных модели. Этот шаг гарантирует, что Watson OpenScale поймет, как настроена ваша модель.

6. Проведите оценку

После настройки оценок вы можете запустить их, выбрав Оценить сейчас в меню «Действия» на вкладке «Оценки». Модельные транзакции отправляются на анализ.

7. Посмотреть результаты

Проанализируйте результаты оценки на вкладке «Оценки», чтобы получить представление о производительности вашей модели. Предоставленные диаграммы и подробные сведения помогут вам понять, соответствует ли ваша модель установленным пороговым значениям.

8. Изучите транзакции

На вкладке «Транзакции» вы можете проанализировать отдельные транзакции модели, чтобы понять, почему модель сделала определенные прогнозы. Поэкспериментируйте со сценариями «что, если», чтобы изучить способы улучшения модели.

Интеграция возможностей Watson OpenScale с развертываниями позволяет организациям сделать модели искусственного интеллекта и машинного обучения более подотчетными и надежными. Следуя инструкциям, описанным в документации, вы сможете эффективно настраивать и контролировать свои модели ИИ, гарантируя их справедливость, качество и прозрачность.

Поскольку искусственный интеллект и машинное обучение продолжают развиваться, Watson OpenScale предоставляет инструменты, необходимые для того, чтобы оставаться на шаг впереди, гарантируя, что ваши модели принесут пользу, сохраняя при этом этические стандарты и точность. Итак, если вы находитесь на пути внедрения ИИ, помните, что Watson OpenScale поддержит вас, помогая раскрыть истинный потенциал ваших развертываний ИИ.

Дополнительную информацию см. в разделе Оценка развертываний в пространствах с помощью Watson OpenScale в Документации IBM Cloud Pak for Data.