Умное сжатие. Как электросетевая компания внедрила AI в системы хранения данных

Крупный электросетевой холдинг из Сибири и Дальнего Востока осуществляет передачу и распределение электроэнергии на территории более 1,9 млн квадратных километров. В зоне его обслуживания находятся десятки регионов, а ИТ-инфраструктура обрабатывает огромные объёмы данных от компаний и потребителей-физлиц.

Рассказываем, почему компании пришлось запустить AI-сервис для сжатия данных и к каким результатам это привело. 

Проблема

Информационные потоки в системах документооборота, учёта, телеметрии и аналитики компании растут каждый год. Из-за этого системы хранения данных (СХД) быстро заполняются, увеличиваются расходы на их обслуживание. При этом компания обязана хранить большие массивы документов и изображений в архивах в соответствии с отраслевыми и государственными стандартами.

В 2024 году существующая система хранения перестала справляться с постоянно увеличивающимся объёмом информации и появился риск нехватки места для новых данных. 

Решение

Увеличение ИТ-мощностей для хранения данных было экономически нецелесообразным из-за высокой стоимости оборудования. Такой подход в перспективе привёл бы к постоянно растущим расходам на инфраструктуру. 

Компания приняла альтернативное решение: разработать сервис сжатия данных и внедрить его в корпоративный ИТ-периметр. Он должен автоматизированно обрабатывать все документы, поступающие во внутреннюю систему документооборота, и заменять их уменьшенными в размере копиями. Технологическим партнёром в реализации проекта стал оператор ИТ-решений «ОБИТ».

Технологии

• Система первичного приёма запросов анализирует поступающие файлы и направляет их на соответствующую ветку обработки — документа или изображения.
• Изображения проходят через цепочку модулей подготовки, обработки и финальной оценки качества. 
• PDF-файлы проходят через цепочку из модулей декомпозиции документа, сжатия компонентов и последующей сборки с выбором оптимизированного варианта.
• Обработка файлов выполняется в многопоточном режиме, параметры сжатия можно настраивать. 
• Нейросеть оценивает результаты и контролирует качество: обрабатывает документ до и после сжатия, распознаёт текст и определяет его соответствие установленным параметрам сжатия.
• API-интеграция с корпоративными ИТ-системами компании. 

Сложности

При разработке сервиса компания столкнулась с рядом технологических вызовов. 

Сложная структура хранения. Данные распределены между разными филиалами с разным уровнем технической оснащённости. Для решения этой проблемы была реализована децентрализованная архитектура обработки данных с локальными узлами сжатия. 

Ограниченная пропускная способность сетей. В отдельных регионах она усложняла перенос больших массивов данных. Для того чтобы снизить нагрузку на сети, были внедрены алгоритмы предварительного сжатия и пакетной передачи данных в фоновом режиме. 

Ограниченные временные окна для обслуживания сервиса. Из-за необходимости круглосуточного доступа к системам технические работы проводились только в заранее согласованные ночные периоды, а обновления устанавливали автоматизированно. 

Этапы работы

• Май — июнь 2024. Анализ существующих объёмов данных, структуры хранения и частоты доступа к разным категориям файлов. Проектирование архитектуры сервиса.
• Июль — август 2024. Разработка модулей для обработки документов и изображений с настройкой параметров сжатия в зависимости от типов данных. Итеративное тестирование и оптимизация алгоритмов сжатия на реальных данных.
• Сентябрь — октябрь 2024. Развёртывание решения в промышленной среде и его интеграция в системы документооборота. 

Результаты

• Оптимизировано более 5 ТБ архивных данных.
• Нагрузка на СХД снизилась на 35%.
• Расходы на обслуживание хранилищ сократились в 3 раза.
• У компании появилось ИТ-решение, которое можно масштабировать в другие филиалы и сегменты бизнеса.

Следующие шаги

• Расширить сервис на обработку аудио- и видеофайлов.
• Интегрировать модуль с аналитическими системами компании для автоматического выявления приоритетных для оптимизации данных.
• Разработать панель управления для ИТ-специалистов с возможностью гибко настраивать параметры сжатия и получать отчёты о достигнутой экономии.
• Масштабировать решение на все филиалы компании.

• Чтобы быть в курсе важных трендов и мнений ведущих экспертов, следите за нами в телеграм-канале. О развитии навыков управления, личностном росте пишем в «Дзене». Про технологии и развитие в IT — в блоге на VC.