GigaChat занял первое место среди открытых AI-моделей по результатам русскоязычного теста MERA

• Нейросеть Сбера лучше других языковых моделей справилась с задачами на разные типы и области знаний.

По итогам тестирования модель GigaChat PRO получила 53,7 балла из 100, а GigaChat Lite — 50,4 балла. Результат ближайшего конкурента оказался хуже более чем на два балла.

Благодаря обновлениям GigaChat PRO и GigaChat Lite теперь точнее отвечают на вопросы по экономике, медицине, химии, биологии и другим наукам, а также стали лучше разбираться в сложных терминах. Кроме того, в нейросети Сбера появились персонажи для выполнения специализированных задач.

GigaChat PRO доступна в веб-версии, «Телеграме» и «ВКонтакте». Разработчики и бизнес также могут использовать все модели Сбера через GigaChat API.

Бенчмарк MERA (multimodal evaluation for russian-language architectures, открытый бенчмарк для русского языка для оценки фундаментальных моделей) — набор из 21 задачи, который проверяет широкий спектр навыков искусственного интеллекта — от общих знаний до программирования. Этот тест позволяет объективно оценивать способности современных языковых моделей. Чем больше баллов набирает AI, тем лучше он справляется с различными задачами.  В создании тестов MERA участвовали компании Альянса в сфере AI, а также Skoltech AI и НИУ ВШЭ.

Источник: Газета.ру