LLM и NLP, ML и DL: ультимативный гайд по нейроаббревиатурам для бизнеса

За 2023 год рынок искусственного интеллекта в России вырос на 18% и стал одним из самых быстрорастущих секторов экономики, говорится в «Белой книге 2023» от АНО «Цифровая экономика». Однако, по данным того же документа, от 20 до 25% организаций недостаточно осведомлены о возможностях использования AI.

В гайде мы расскажем про основные технологии в рамках концепции искусственного интеллекта, о которых полезно знать руководителям, что означает NLP (natural language processing) в искусственном интеллекте, как используют большие языковые модели (large language model, LLM) и как в разных отраслях бизнеса применяют машинное (machine learning, ML) и глубокое обучение (deep learning, DL).

Почему LLM или DL — важная тема в бизнесе?

Недостаточно быстрый переход на новые технологии может привести компании к отставанию на рынке, считают в консалтинговой компании BCG. По результатам её недавнего исследования, 54% лидеров мировых компаний надеются в 2024 году сократить расходы за счёт внедрения технологий AI.

По расчётам консалтинговой компании «Яков и Партнёры», к 2028 году в России эффект от искусственного интеллекта на рост выручки и сокращение затрат компаний может составить от 4,2 до 6,9 триллиона рублей. Сумма эквивалентна влиянию на ВВП до 4%.

Ожидаемый эффект от внедрения ИИ в российском бизнесе

Источник: Яков и Партнёры

Отсутствие знаний про ИИ замедляет его внедрение в компаниях. По данным ежегодного исследования IBM, эта причина самая распространённая (33% в ноябре 2023 года).

1. ML — машинное обучение

Машинное обучение — это технология, которая позволяет компьютерам запоминать связи между данными, обнаруживать в них закономерности и делать прогнозы без точных инструкций для каждого из этих действий. Например, не писать программу, которая прямо указывает компьютеру, как классифицировать изображения, а предоставить ему много примеров, среди которых он сам находит закономерности.

Алгоритмы машинного обучения — это методы, которые определяют, как именно компьютер будет обучаться на данных и какие предсказания сделает. Алгоритмы ML отвечают за разные задачи. Одни хорошо справляются с классификацией (определяют категорию объекта), другие — с регрессией (прогнозируют), а третьи — с кластеризацией (группируют похожие данные).

Модель машинного обучения — это результат работы алгоритма, обученного на данных, представляет собой способ описания процесса или явления. В бизнесе ML-модели используют для генерации решений на основе предыдущих данных. Выбор правильного алгоритма и настройка модели зависят от конкретной задачи и целей бизнеса.

• В ретейле ML-алгоритмы оптимизируют складские поставки, выкладку товаров на полках, акции и регулярные цены на товары. Пример оптимизации — в кейсе из раздела «Цифровое развитие».
• Сетевые издания используют ML, чтобы показывать новости тем читателям, которым данная новость может быть потенциально интересна. Технология позволяет повысить CTR в 2–4 раза. Аналогичную схему можно применять при показе рекламных объявлений.
• В промышленности ML-алгоритмы по истории измерений на датчиках предсказывают, когда оборудование нуждается в обслуживании. Так предотвращают поломки и аварийные ситуации.

2. DL — глубокое обучение

Глубокое обучение — это раздел машинного обучения с применением алгоритма нейронных сетей. Сети распознают сложные зависимости в данных и делают предсказания на основе этих данных без предварительной подсказки от человека (как это бывает в ML). В глубоких нейронных сетях используется множество слоёв, каждый из которых обрабатывает информацию и помогает модели лучше понимать данные. Это позволяет DL-моделям решать задачи, требующие уровня анализа, близкого к человеческому.

• DL используется в компьютерном зрении: на объектах отслеживают, чтобы все работники использовали индивидуальные средства защиты и не входили в опасные зоны; в медицине анализ рентгеновских снимков или МРТ помогает ставить более точные диагнозы; системы автономного вождения на основе DL распознают дорожные знаки и пешеходов; в розничной торговле технологии отслеживания полок обеспечивают своевременное пополнение товаров; в сельском хозяйстве дроны с камерами анализируют состояние посевов и идентифицируют участки, требующие внимания; в охранных системах видеонаблюдение выявляет подозрительные активности и предотвращает преступления.
• Для управления беспилотными авто, дронами или роботизированными пылесосами также используются технологии компьютерного зрения плюс алгоритмы DL для выстраивания маршрутов в изменчивой среде.
• В логистике сбор и DL анализ данных о пробках, ремонтах, погоде, выгрузке и ожидании товара в точках помогает построить наиболее быстрые и экономичные маршруты.
• Один из самых распространённых вариантов применения технологии — для обнаружения подозрительных действий при совершении финансовых сделок. Алгоритмы DL способны предположить, например, кто может стать потенциальной жертвой мошенников.
• При разведке месторождений строят DL-модели, которые помогают обнаруживать потенциальные залежи полезных ископаемых, например, путём поиска аномалий в данных сейсморазведки.

3. NLP — обработка естественного языка

Natural Language Processing отвечает за понимание и обработку человеческого языка. В её рамках системы не распознают отдельные слова, а понимают их значение в контексте. Например, в приложениях для перевода текста NLP модели обрабатывают фразы с учётом грамматики и устойчивых выражений — перевод получается более точным и естественным.

Человеческий язык очень сложен, поэтому современные приложения на основе NLP работают в связке с методами машинного и глубокого обучения. Deep learning позволил моделям распознавать в сообщениях эмоциональные оттенки и создавать более персонализированные интерфейсы. Например, голосовые помощники используют NLP и глубокое обучение, чтобы лучше понимать и отвечать на запросы пользователей. А приложения для анализа покупательских отзывов могут определять настроение и тон сообщений, чтобы дать более полное представление об их отношении к бренду.

NLP-модели — это математические структуры, обученные на больших объёмах текстов и речи, которые позволяют системам анализировать, понимать и генерировать человеческий язык. Эти модели занимаются разными задачами. Например, модель для перевода текстов с одного языка на другой будет учитывать грамматические структуры и идиоматические выражения, а модель для анализа отзывов будет определять тональность и выявлять в тексте ключевые темы.

NLP-модели анализируют текстовые данные.

• В финансовой сфере NLP используется для анализа новостей и отчётов компаний, чтобы прогнозировать изменения на рынке и выявлять потенциальные риски.
• При обслуживании клиентов автоматические чат-боты и виртуальные помощники обрабатывают запросы пользователей и предоставляют оперативные ответы. Это помогает значительно снизить нагрузку на живых операторов.
• В маркетинге NLP анализирует отзывы клиентов и социальные сети, чтобы выявлять настроения и предпочтения потребителей.
• В HR-сфере используются инструменты анализа резюме и сопроводительных писем. Кандидатов с релевантным опытом ищут при помощи ключевых фраз.

4. LLM — большие языковые модели

Large language model, или большая языковая модель, — это продвинутая нейросеть для работы с текстами. Она обучается на терабайтах текстов: книгах, статьях и страницах сайтов. Тесно связана с тремя другими технологиями AI: обработкой естественного языка, машинным обучением и глубоким обучением. В рамках большой языковой модели NLP занимается анализом и созданием текстов, ML включает методы обучения на данных, а DL использует сложные нейронные сети для глубокого анализа. В итоге LLM выявляет в текстах закономерности, запоминает информацию, моделирует на её основе ответы и создаёт тексты, которые похожи на человеческие.

Взаимосвязь между технологиями искусственного интеллекта

Наиболее известные LLM модели — это чат-боты наподобие GigaChat. Они работают на основе генеративного искусственного интеллекта (ИИ), могут отвечать на вопросы пользователей, создавать контент и анализировать текстовые данные. Главное преимущество в том, что LLM-нейросеть — это инструмент, для которого не надо знать программирование. Ставить задачи можно в виде обычного текста.

• В бизнесе LLM упрощают создание рекламных кампаний: сочиняют тексты, заголовки или рекламные слоганы на основе анализа трендов и предпочтений аудитории. 
• В финансовом секторе — прогнозируют рыночные тренды, анализируют большие объёмы данных и делают инвестиционные рекомендации. 
• В юридической сфере LLM помогают автоматизировать проверку договоров и создание документов, сократить время на рутинные задачи и снизить риск ошибок. 
• Ещё одно применение — HR и обучение сотрудников, когда создаются персонализированные тренинги и учебные материалы с адаптацией под конкретные потребности и уровень знаний работников.

Больше примеров использования генеративного ИИ в материале Рисовать, лечить, продавать: на что способен генеративный искусственный интеллект

• Чтобы быть в курсе важных трендов и мнений ведущих экспертов, следите за нами в телеграм-канале. О развитии навыков управления, личностном росте пишем в «Дзене». Про технологии и развитие в IT — в блоге на VC.