• Что это значит? Ведущий банк страны вносит вклад в сохранение и развитие языков народов России.

Компания SberDevices создала уникальную нейросеть mGPT. Это первая в мире генеративная модель, которая поддерживает более 60 языков. Решение является многоязычной версией нейросети GPT-3.

Модель mGPT может использоваться как просто для генерации текста, так и для решения различных задач в области обработки естественного языка путём дообучения или в составе ансамблей моделей. Нейросеть показывает выдающиеся результаты на многих задачах few-shot и zero-shot learning: в этой области машинного обучения не требуется отдельно доучивать модель, достаточно сформулировать задачу текстом и привести несколько примеров, после чего mGPT научится выполнять новую задачу. Автоматизированную систему можно научить отвечать на вопросы, определять эмоциональную окраску текста, извлекать из него имена, фамилии, названия компаний и т. д. Модель также может использоваться как компонент различных речевых технологий — например, для улучшения качества распознавания речи и генерации сценариев диалоговых систем.

Новинка доступна в двух версиях: базовой с 1,3 млрд параметров (она опубликована в открытом доступе в облачном хранилище СберДиск) и расширенной с 13 млрд параметров, которая в скором времени появится на платформе машинного обучения ML Space от SberCloud.

«В 2020 году мы представили русскоязычную версию нейросети GPT-3, именно она используется в двух виртуальных ассистентах семейства Салют от Сбера — Джой и Афине. Мы продолжили развивать наши NLP-технологии и представили модель mGPT, поддерживающую более 60 языков, при этом для многих из них ранее генеративных моделей просто не существовало. Это станет нашим вкладом в сохранение и развитие языков народов России: mGPT умеет генерировать тексты, например, на татарском или якутском», — рассказал CEO SberDevices, вице-президент по новым цифровым поверхностям Сбербанка Денис Филиппов.

Источник: Сбер