Что такое big data и как извлекать выгоду из данных

Больше трети (35,5%) российских компаний применяют большие данные в своей работе или планируют их внедрить в ближайшие три года. Как развивается эта технология? Чем она помогает бизнесу? Как использовать big data? Какие векторы применения наиболее перспективны? Рассказываем в статье.

Что такое большие данные

Последствием цифровизации стало накопление огромного объёма информации. Она поступает из социальных сетей, от финансовых институтов, с датчиков интернета вещей (IoT), от умных устройств и других источников. Эти массивы называются большими данными.

Технологии машинного обучения и искусственный интеллект помогают их систематизировать. Они выделяют важные и несущественные фрагменты, отсеивают аномальные скачки, отбирают тренды. С их помощью огромный массив неструктурированных данных превращается в ценный ресурс для бизнеса. Работа с технологией биг дата позволяет компаниям строить прогнозы, менять стратегии продвижения и улучшать обслуживание.

Виды больших данных

• Структурированные — базы SQL, таблицы Excel и CRM-системы. Имеют чёткую организацию. Применяются в аналитике, отчётности, прогнозировании.
• Неструктурированные — тексты, изображения и видео. В источниках нет чёткой организации, они не вписываются в традиционные схемы анализа. Работа с ними позволяет находить инсайты, менять стратегии продвижения, улучшать обслуживание.
• Полуструктурированные — данные, сочетающие элементы структурированных и неструктурированных систем. Позволяют анализировать информацию в реальном времени, оптимизировать умные устройства.

Глобальные тренды big data

• Экспоненциальный рост. На фоне развития IoT и подключения всё большего количества устройств в мире становится всё больше данных: в 2020 году было 44 зеттабайт, а к 2025 году станет 175 зеттабайт.
• Технологический прорыв. Развитие машинного обучения, AI и блокчейна меняет облик big data. Объём массивов информации, которые подвергаются анализу, увеличивается. ИТ-компании предлагают новые инструменты. Один из них — облачные платформы и сервисы, которые расширяют возможности работы с данными.
• Рост инвестиций. Цифровизация остаётся в приоритете у крупных компаний. Внедрение AI-технологий увеличивает финансовые показатели на 68%.
  
  По данным международных исследований, к 2027 году вложения в трансформацию достигнут двух третей всех расходов бизнеса на ИТ. Самые быстрорастущие регионы — Латинская Америка и Китай, где прогнозируемый среднегодовой прирост за пять лет составляет 17,9% и 17,4% соответственно.
• Проникновение в новые сферы. Например, в медицину, финансы, туризм, производство, торговлю. Так, геоаналитика, основанная на агрегированном и обезличенном массиве данных, помогает ритейлерам выбирать локации для открытия новых торговых точек.

Рынок big data в России 

Основные потребители технологии big data в России — финансовый сектор, телеком, производство и медицина. Объём рынка достигает 319 млрд рублей, пишет «Коммерсант».

Методики сбора и обработки больших данных, а также предиктивная аналитика — одни из самых востребованных цифровых инструментов в отечественных компаниях. О том, как технологии используются в разных отраслях, рассказываем на СберПро. Читайте материалы о цифровизации АПК и трансформации энергетического комплекса. 

Компании активно применяют данные из внутренних систем — о клиентах, о транзакциях. Данные из внешних источников (IoT) пока не получили широкого распространения. 52,4% респондентов стали собирать больше данных за последние три года. Лидерами по применению стал крупный бизнес. В телекоме, ИТ и финсекторе инструменты big data внедрили больше половины (50%) игроков, сообщает НИУ ВШЭ. 

Более 62% крупных российских предприятий применяют в работе большие данные. Те, кто так не делает, объяснили это отсутствием потребности и нехваткой специалистов. Другие причины —  разрозненная ИТ-инфраструктура, проблемы с интеграцией анализа больших данных  в бизнес-процессы, а также низкая культура работы с инструментами.

48% участников опроса отметили, что процесс внедрения требует 1—2 года. Окупаемость, по мнению респондентов, от года до трёх лет (данные VK Cloud).

Влияние big data на развитие бизнеса

Основные характеристики Big Data — это большой объём и разнообразие форматов, что позволяет компаниям принимать обоснованные решения на основе анализа. Внедрение технологий больших данных доказало свою перспективность. По данным глобального опроса, компании, которые девять лет назад высоко оценили важность данных, аналитики и AI, сегодня обогнали своих конкурентов по доходам.

Организации внедряют big data для решения следующих задач.

• Аналитика в режиме реального времени
  
  Потоковое получение аналитической информации позволяет быстро адаптироваться к изменяющимся условиям рынка, менять стратегию и находить новые возможности для развития бизнеса.
• Принятие более обоснованных решений
  
  Big data даёт возможность обнаруживать ранее не замеченные тенденции, закономерности и взаимосвязи. Это значительно повышает эффективность бизнес-решений в управлении цепями поставок, электронной коммерции, операционной деятельности и других сферах.  
• Экономия 
  С помощью больших данных организации могут выявлять избыточные расходы, увеличивать производительность. Прогностический анализ помогает улавливать будущие тенденции, что позволяет компаниям более эффективно распределять ресурсы и избегать ошибок в тратах.
• Клиентоцентричность
  Понимание потребностей, поведения и настроений аудитории — ключевой элемент успешного бизнеса, и аналитика больших данных предоставляет необходимые для этого инструменты. 
• Управление рисками
  Прогностический анализ позволяет предвидеть опасную ситуацию. Компания может избежать угрозы или смягчить последствия.  

Области применения больших данных 

1. Медицина

Big data улучшают диагностику, лечение и менеджмент. Перспективные способы применения: 

• предиктивная аналитика — выявлять риски для здоровья, прогнозировать эпидемии и вспышки заболеваний;
• персонализированная медицина — разрабатывать индивидуальные планы лечения на основе анализа генома и истории болезни;
• операционная эффективность — распределять ресурсы, управлять цепочками поставок.

Подробнее — в статье о технологических трендах в медицине. 

Так, информационно-аналитическая система Москвы (ЕМИАС) объединяет 9 млн пациентов и более 1000 больниц и поликлиник. Информация доступна на всех этапах оказания медицинской помощи и отражается в электронной карте. 

Другой пример — внедрение комплексов «Цифровой ФАП» в отдалённых регионах России. Система подключается к интернету и AI-сервисам. Это упрощает диагностику, снижает нагрузку на фельдшеров и сокращает время обследования. Об этом и других кейсах рассказываем в статье «Как искусственный интеллект улучшает качество медпомощи в регионах». 

2. Финансы

Big data помогают улучшить клиентский сервис, снизить риски и определять мошенников. Актуальные  разработки:

• прогноз  и управление рисками на основе данных о транзакциях и поведении клиентов;
• обнаружение мошеннических схем с помощью алгоритмов машинного обучения;
• создание таргетированных продуктов и услуг на основе анализа данных клиентов.

Лидеры финтех-рынка используют big data в ключевых бизнес-процессах. Многие из них создают специализированные подразделения по работе с этой технологией. Основные направления: кредитный скоринг, риск-менеджмент, клиентская аналитика. 

Аналитика больших данных помогает бороться с мошенничеством и находить нарушителей 115-ФЗ (препятствует отмыванию доходов. — Прим. ред). Она поддерживает на фондовом рынке и в управлении просроченной задолженностью. Обезличенная информация о транзакциях и кредитных историях позволяет оценивать финансовую состоятельность клиента, пишут «Ведомости». 

Big data помогают улучшать клиентский сервис. Они ложатся в основу создания чат-ботов и AI-ассистентов, которые упрощают работу службы поддержки и сокращают время отклика. В статье рассказываем о том, как собрать для них данные. 

3. Розничная торговля

Big data позволяют более глубоко понимать поведение клиента в ритейле: 

• давать персонализированные рекомендации. Данные о покупках и поведении клиентов ложатся в основу индивидуальных предложений;
• оптимизировать ассортимент и цены. Анализ продаж и рыночных тенденций применяется для регулирования запасов и ценообразования;
• управлять цепочками поставок — сокращения затрат и повышения эффективности удаётся достичь за счёт прогнозирования спроса и оптимизации логистики. Больше информации — в инструкции по применению предиктивной аналитики на СберПро. 

Так, сеть продуктовых магазинов персонализирует коммуникацию с клиентом при помощи инструментов big data. Покупатели получают индивидуальные предложения, кешбэк и скидки. Система анализирует предпочтения аудитории и предлагает решения. Она контролирует эффективность программы и корректирует настройки, сообщает Inc.Russia. 

Ещё один пример: мультивендорное решение, которое российский ритейлер использует в распределительных центрах. AI-ассистент помогает сотрудникам формировать и упаковывать заказы. Подробности — в барометре отрасли «Торговля и торговая недвижимость» на СберПро.

4. Производство

Производственные компании при помощи big data оптимизируют процессы. Вот основные задачи: 

• прогнозирование отказов оборудования, снижение времени простоя;
• улучшение процессов — big-data-аналитика с производственных линий применяется для улучшения качества продукции и роста производительности;
• управление поставками — координация и взаимодействие между участниками из разных организаций.

Так, система на основе предиктивной аналитики помогает контролировать качество продукции на металлургическом комбинате. Если один из параметров на производстве нарушается, система оповещает об этом специалистов и запускает режим коррекции прямо в цеху. Разработка помогла снизить процент брака. Подробности — в статье  «Сплав технологий: 5 трендов цифровизации в металлургии».

5. Маркетинг и реклама

Под влиянием big data маркетинговые стратегии постепенно трансформируются. Они позволяют компаниям лучше понимать своих клиентов и налаживать взаимодействие с ними. Наиболее актуальными сегодня являются разработки в следующих сферах:

• таргетированный маркетинг — данные о предпочтениях аудитории помогают сделать рекламные кампании более эффективными. Так, крупный ритейлер предлагал персонализированные акции покупателям с разными интересами с помощью «умного» таргетинга. Это увеличило ROI в три раза;
• оценка чувств и мнений. Строится на отзывах и комментариях в социальных сетях. Показывает отношение клиентов к продуктам и брендам;
• омниканальность. Инструменты на основе больших данных обеспечивают бесшовное взаимодействие с пользователями. В материале рассказываем об опыте компании, которая нарастила продажи на разных площадках при помощи big-data-аналитики, 

С помощью больших данных компании персонализируют рекламный таргетинг и рекомендации товаров. Они копят данные о действиях пользователей: просмотренные страницы, прокрутки, переходы. Это позволяет прогнозировать покупки, определять предпочтения пользователей и эффективно настраивать рекламный таргетинг. 

К концу 2024 года в российском сегменте big data ожидается следующая расстановка сил:

• внимание со стороны государства; 
• развитие потенциала технологии благодаря усилиям компаний. Они будут запускать новые продукты на основе анализа больших данных;
• осознание ценности данных в обществе; 
• появление новых технологических разработок;
• совершенствование законодательства.  

Читайте ещё:

• Цифра против. Как новые технологии помогают трансформации нефтегазового сектора
• Из перевозчиков в аналитики: как big data меняет логистику 
• Цифровой портрет. Почему необходимо слияние государственных и коммерческих больших данных  
• Продовольственный союз. Зачем «Магнит» ищет новые подходы к работе с фермерами 
• На сверхскоростях: как в «Черкизово» добились 10-кратного ускорения документооборота 
• Цифровые надои. Как технологии уберегают топ-менеджмент молочных ферм от ошибок 

• Чтобы быть в курсе важных трендов и мнений ведущих экспертов, следите за нами в телеграм-канале. О развитии навыков управления, личностном росте пишем в «Дзене». Про технологии и развитие в IT — в блоге на VC.