Интересное
Обмен метриками и слепые тесты. Как внедрять ИИ и оценивать его эффект для бизнеса
Максим Иванов
директор по искусственному интеллекту Сбер Бизнес Софт
Российские компании инвестируют в искусственный интеллект не из спортивного интереса или ради того, чтобы быть в тренде, — чаще всего такие проекты тесно переплетены с целями и показателями бизнеса. Исключение — научно-исследовательские разработки крупнейших компаний, в остальных случаях ИИ решает максимально прикладные задачи.
При этом существует ряд типичных сложностей, связанных с внедрением ИИ-инструментов и оценкой их эффективности. О них и поговорим.
«Биржа» метрик
Начнём с принципиально важных моментов, которые следует учитывать при разработке и внедрении ИИ-решения.
Заказчик не обязан понимать технологическую суть внедряемого продукта, это нормально. Но необходимо чётко представлять его бизнес-ценность и сформулировать главную метрику, которую планируется улучшить с помощью нового инструмента.
Возьмём чат-ботов. У некоторых людей всё ещё остаётся предубеждение против таких ассистентов, они не хотят с ними общаться и сразу просят перевести на оператора, даже если запрос легко закрывается именно чат-ботом.
Можно настроить бота так, чтобы в диалоге он просил таких клиентов рассказать о своей потребности. В этом случае уровень автоматизации повысится, чат-бот закроет больше запросов, сократится время ожидания, а компания потратит меньше ресурсов на поддержку. С другой стороны, это может повлиять на удовлетворённость определённого сегмента клиентов: часть из них может расстроиться, что им всё-таки пришлось общаться с чат-ботом.
Это довольно классическая ситуация при внедрении ИИ-решения: сначала бизнес улучшает обе метрики, но потом одна из них может пострадать и будет снижаться. Важно расставить приоритеты на старте, установить так называемый «курс обмена» — сколько пунктов одной метрики можно обменять на повышение другой. Тогда модель будет рабочей и более предсказуемой.
Недостаток данных
Следующий важный момент — отсутствие или недостаток данных, которые нужны для обучения ИИ и оценки её эффективности. Это очень распространённая ситуация. Какие варианты решения этой проблемы?
3 решения
помогут собрать данные для обучения ИИ
In-house разработка
Ещё один момент, часто оказывающийся недооценённым, — избыточное стремление бизнеса развивать полномасштабную внутреннюю разработку ИИ, не имея полноценного видения целей и задач, которые должен выполнять искусственный интеллект в компании. Нередко тратятся огромные ресурсы на «изобретение велосипеда» и теряется время, хотя на рынке уже есть готовые решения. При этом ИИ — довольно специфическая область: специалистов с редкими компетенциями непросто переключить на другие задачи, в отличие, скажем, от более универсальных Java-разработчиков.
Создавать in-house команды ИИ-специалистов целесообразно только для крупнейшего бизнеса, потому что здесь даже небольшой прирост в какой-то метрике может дать колоссальный эффект в деньгах. Условно, если решение, которое год разрабатывали своими силами, оказалось всего на 0,5% эффективнее коробочного, скорее всего, оно окупится из-за масштабов деятельности. В таких случаях оптимально использовать готовые ИИ-продукты для быстрого старта и одновременно создавать своё решение, которое даст больший эффект в долгосрочной перспективе.
Деньги против лояльности
При оценке эффективности ИИ-решения нередко всплывают те же проблемы, что и при внедрении. В частности, конкуренция метрик и недостаток данных.
Например, часто эти метрики можно разделить на две категории. В первой цель — финансовый эффект, во второй — удовлетворённость и лояльность пользователей. Абсолютно точных методов пересчёта из лояльности в финансовый эффект напрямую сейчас не существует, поэтому оценивать результативность ИИ нужно именно по той метрике, в которую компания целилась. Ещё один очень распространённый случай — конкуренция между двумя квазифинансовыми метриками. Например, при прогнозировании спроса важно понимать, насколько хуже с финансовой точки зрения иметь одну лишнюю единицу продукции на складе, чем иметь недостаток в эту же единицу.
Что касается данных, то часто бизнес смотрит, как показали себя традиционные инструменты, а потом уже сравнивает их с результатами нового ИИ-решения. Однако такой подход работает только с достаточным объёмом данных. Там, где происходят крупные, но редкие сделки, например при продаже премиум-яхт, эффект может быть недоказуем.
Слепые тесты и другие методы оценки эффективности ИИ
Самый распространённый способ — ретроспективный тест, так как во многих бизнесах используют несколько методов тестирования сразу. Допустим, компании нужно оценить модель, прогнозирующую спрос. Для этого модель прогнозирует спрос на период, который уже закончился, например на первую половину 2023 года. Потом прогноз сверяется с реальными данными за исследуемый период, — модель их не «видела» и поэтому не использовала в своих расчётах. Из-за этого ретроспективный тест ещё называют слепым.
Бывает, результат работы ИИ-решения не с чем сравнить. Например, девелопер хочет, чтобы ИИ сегментировал всех покупателей на три категории и каждой в рекламе предлагал максимально подходящий ей бонус: бесплатное парковочное место, бесплатную кладовку или скидку 5%. Здесь сложно понять, как бы отреагировал покупатель на предложение другой скидки и правильно ли ИИ сегментировал клиентов на категории.
В таком случае при обучении модели необходимо сформировать небольшую контрольную группу клиентов, которым будут рассылать маркетинговые предложения, созданные стандартным способом либо случайным образом. И уже результаты работы с этой группой можно сравнивать с показателями ИИ.
2 метода
используются для оценки эффективности ИИ
.png)