Вышла новая версия бенчмарка для оценки нейросетей на русском языке

• MERA (Multimodal Evaluation for Russian-language Architectures) — это крупнейший независимый бенчмарк для оценки фундаментальных моделей русского языка. В новой версии в программу добавили динамический рейтинг, улучшенные промпты и датасеты, поддержку API, а также замеры десятков дополнительных моделей.

Разработку выпустил Альянс в сфере искусственного интеллекта. Над ней трудились AI-специалисты из Сбера, MTS AI, Skoltech AI и НИУ ВШЭ.

Предыдущей версией сервиса уже воспользовалось несколько десятков разработчиков, которые в совокупности более 1 тыс. раз тестировали свои языковые модели. Альянс собрал их отзывы о программе и на этой основе осуществил доработки. В будущем в MERA планируется добавить задачи для оценки распознавания изображений, аудио- и видеоматериалов.

Напомним, ранее нейросеть от Сбера GigaChat заняла первое место среди открытых AI-моделей по результатам теста MERA.

Источник: CNews