ТМТ
Как работает суперкомпьютер Сбербанка и для чего он нужен
Евгений Колбин
вице-президент Сбербанка, генеральный директор компании SberCloud
В прошлом году Сбербанк запустил собственный суперкомпьютер. Он не только активно используется в экосистеме банка, но и доступен для любой компании, научного института или государственной организации. Какие задачи он решает?
Что такое «Кристофари»?
Идея создать собственный суперкомпьютер, ориентированный на работу с искусственным интеллектом (ИИ, или AI), появилась летом 2019 года на стратегической сессии Сбербанка.
Сразу же после принятия этого решения специалисты SberCloud начали проектирование инфраструктуры нового вычислительного комплекса, затем в кратчайшие сроки была разработана верхнеуровневая архитектура публичного сервиса суперкомпьютера, а также проведены пилотные запуски компонентов программной платформы. В октябре 2019 года состоялась пусконаладка суперкомпьютера в центре обработки данных «Сколково» и выбран программный стек для построения публичного сервиса AI Cloud. В ноябре 2019 года началось развёртывание программной платформы вычислительного комплекса и состоялась презентация суперкомпьютера в рамках крупнейшей восточноевропейской конференции по искусственному интеллекту Artificial Intelligence Journey. А уже в декабре суперкомпьютер, получивший название «Кристофари» в честь первого клиента сберегательных касс Николая Кристофари, был введён в коммерческую эксплуатацию.
Максимальная эффективная производительность «Кристофари» составляет 6,7 PFLOPs, а его пиковая производительность 8,8 PFLOPs. Суперкомпьютер базируется на новейших вычислительных модулях компании NVIDIA — DGX-2, специально разработанных для решения задач в области работы с ИИ-алгоритмами. При решении задач ИИ, например, тренировке алгоритмов глубокого обучения, всего один узел NVIDIA DGX-2 способен заменить несколько сотен обычных двухпроцессорных серверов. Задача, которую процессор мощной рабочей станции будет выполнять сутки, DGX-2 выполняет за считанные минуты, а при использовании всей мощности «Кристофари» речь может идти и о секундах. Например, мощность суперкомпьютера позволяет за 100 минут проанализировать 9 млрд изображений.
В данный момент в рамках облачной платформы AI Cloud, развёрнутой на мощностях «Кристофари», доступна услуга SberCloud Model Training — сервис для разработки моделей машинного и глубокого обучения, а также ускоренного обучения искусственного интеллекта. Кроме этого, доступен сервис SberCloud Data Scientist Toolkit — инструмент автоматического подбора модели машинного обучения под данные и задачу, а также инструменты валидации, интеграции и разворачивания моделей.
Сегодня «Кристофари» — один из самых мощных вычислительных комплексов в мире, доступный для работы из публичного облака из любой точки мира. И суперкомпьютер № 1 в России.
6,7 PFLOPs
максимальная эффективная производительность «Кристофари»
Зачем он нужен?
Самые быстрые суперкомпьютеры мира создаются для того, чтобы решать сложные задачи, с которыми сталкивается человечество. Например, суперкомпьютеры Fugaku (№ 1 в рейтинге Top500) или Summit (№ 2) помогают искать решения проблем в области геномики, метеорологии, медицины, физики и других прикладных областях науки.
Большая часть суперкомпьютеров из Top500 сейчас используется для решения задач High Performance Computing и разнообразного компьютерного моделирования. Лишь относительно недавно стали появляться суперкомпьютеры, архитектура которых базируется на GPU (графических процессорах) и основное предназначение таких суперкомпьютеров — работа с ИИ-алгоритмами. «Кристофари» как раз относится к этому типу, помогает разрабатывать продукты и решения, базирующиеся на ИИ и решать самые разнообразные задачи бизнеса и науки.
Нашим суперкомпьютером пользуются компании госсектора, крупного, среднего и малого бизнеса, работающие в самых разных отраслях, это логистика, ритейл, ИТ-сектор, разработка программного обеспечения, юридические услуги, нефтегазовая отрасль, энергетика, биржевая деятельность, транспорт и пр. Наибольшее количество заявок SberCloud получает от представителей ритейла, ИТ-сектора и разработчиков программного обеспечения.
В промышленности алгоритмы искусственного интеллекта уже используются на некоторых заводах, где роботы выполняют значительную часть, а иногда и все производственные операции. Без искусственного интеллекта это было бы невозможно, так как именно ИИ стал мощнейшим драйвером развития робототехники. ИИ используется и в ритейле, начиная от формирования продуктовой полки, её внешнего вида, заканчивая продажами и предсказанием спроса на тот или иной товар. Медицина, фармацевтика, предсказания погоды, создание новых материалов, биология. Сфер применения искусственного интеллекта невероятно много.
Зачем банку суперкомпьютер?
Сбербанк уже более 5 лет инвестирует в технологии искусственного интеллекта, так как ИИ можно применять в большом количестве продуктов и рабочих процессов банка. Сейчас ИИ-алгоритмы используются в Сбербанк Онлайн, скоринге, борьбе с фродом, в HR и ряде других областей.
Сейчас «Кристофари» использует ряд компаний группы Сбербанк. В частности, это «Лаборатория по искусственному интеллекту», SberDevices, «Центр речевых технологий», СберЗдоровье. У голосовых интерфейсов взаимодействия с клиентами, построенных на алгоритмах Natural Language Processing (NLP, обработка естественного языка) большой потенциал. В обозримом будущем кратно увеличится использование голосового интерфейса взаимодействия между экосистемой Сбербанка и клиентами по самым разным продуктам группы благодаря обучению ИИ-моделей с помощью «Кристофари». NLP можно использовать для создания систем распознавания речи, обобщения документов, машинного перевода, предиктивного ввода текста и т. д.
«Кристофари» также применяется для Natural Language Understanding (NLU), когда машина не просто распознаёт естественный язык, но и понимает его. Алгоритм использует контекст из устройств распознавания во всех его формах, что позволяет максимально правильно анализировать информацию.
Ещё одна область применения «Кристофари» — это компьютерное зрение — область науки и стек технологий, который занимается задачами, связанными с анализом изображений и видео.
Более 5 лет
Сбербанк инвестирует в технологии искусственного интеллекта
Что дальше?
В ближайшей перспективе суперкомпьютеры продолжат выполнять задачи, связанные с высокопроизводительными вычислениями и компьютерным моделированием, однако с каждым годом всё больше и больше суперкомпьютеров будут использоваться для обучения и практического применения нейросетей, работы с большими данными и всего стека технологий, связанных с искусственным интеллектом.
В банках суперкомпьютеры уже используются для обучения ИИ и применяются в скоринге, анализе рисков, создании ботов и голосовых помощников для общения с клиентами. Создание продуктов, основанных на обработке естественных языков — это одно из ключевых направлений для использования ИИ и, соответственно, суперкомпьютеров. В медицине ИИ-алгоритмы, обученные при помощи суперкомпьютера, обрабатывают снимки и помогают врачам в постановке диагнозов. В фармакологии — моделируют действие новых лекарств. В ритейле ИИ обеспечивает предиктивную аналитику, разработку новых продуктов и логистику. В нефтегазовом и металлургическом секторе с помощью суперкомпьютеров проводят оценки месторождений ископаемых.
Потенциальная область применения ИИ ещё шире, а появление на рынке облачных суперкомпьютеров и цифровизация бизнеса сняли последние барьеры на пути массового применения искусственного интеллекта во всех отраслях экономики.
Возможно, именно благодаря суперкомпьютерам мы увидим и появление того, что называют общим или сильным ИИ, когда машина обладает разумом и самосознанием. Но пока до этого шага ещё довольно далеко.