Лидер горнометаллургической промышленности в России и мире «Норникель» построил технологичную платформу для решения бизнес-задач с применением Big Data и Data Lake на продуктах отечественного вендора Arenadata. Использование «Озера данных» позволяет «Норникелю» сократить время Time to Market реализации цифровых проектов за счёт отсутствия необходимости проектировать и реализовывать интеграционные инструменты, а также существенно снизить аналитическую нагрузку на системы управления и диспетчеризации производства.

«Норникель» работает в сфере добычи и производства цветных металлов, которая является технологически сложной отраслью, включающей множество E2E-процессов (end to end), вокруг которых формируются терабайты данных. Их обработка позволяет повысить производительность фабрик и цехов, сделать условия работы более комфортными и безопасными. Поэтому цифровизация производства является одной из ключевых стратегических задач компании на ближайшие годы. Она включает:

• разработку и развитие собственных цифровых инновационных платформ, внедрение data-driven-подходов в технологические, производственные и бизнес-процессы;
• AI-операционализацию.

Примерно 40% кейсов из общего реестра бизнес-задач требуют обработки неструктурированных или слабоструктурированных данных. Они реализуются в технологичной платформе «Озеро данных». Это среда реализации многих инициатив, направленных на цифровизацию производства на базе AI-советчиков, AI-автосоветчиков и аналитических отчётов.

Единой точкой доступа к данным и одним из основных компонентов платформы является аналитическая СУБД Arenadata DB (ADB). Помимо этого, в «Озере данных» используется продукт для потоковой обработки данных Arenadata Streaming (ADS) и корпоративный дистрибутив для распределённой масштабируемой обработки данных Arenadata Hadoop (ADH).

«Построение ландшафта Data-платформы на базе продуктов Arenadata было для нас значимым, поскольку позволяет разрабатывать и запускать реальные инновационные кейсы. Решения Arenadata соответствуют нашим высоким требованиям к системам, которые работают с продуктивными данными, включая требования по безопасности», — отмечает Мансур Гасратов, руководитель «Озера данных» «Норникеля».

В целом экосистема «Озеро данных» состоит из четырёх крупных блоков:

• Data-платформа для обработки и хранения любых данных;
• контейнеризация для запуска и продуктивизации ML-приложений и IML-инстансов;
• ML-платформа для корпоративной среды разработки и опромышливания ML-решений;
• ML-кластеры для геораспределённой ML-инфраструктуры, дающей возможность запускать решения на производственных площадках.

Data-платформа позволяет «Норникелю» в режиме, близком к реальному времени, обрабатывать информацию с датчиков оборудования, пакетные данные из реляционных систем, подключать ML-модели, исследовать данные и получать аналитическую отчётность за счёт подключённых к «Озеру данных» BI-инструментов.

«Данные для современных предприятий — один из ключевых ресурсов. И опыт „Норникеля“ наглядно демонстрирует, как компания с их помощью повышает эффективность работы и оптимизирует производственные процессы. Уверен, что, учитывая стратегические планы компании по цифровизации, включая и использование стека продуктов Arenadata, впереди её ждут новые перспективы», — считает Максим Власюк, директор департамента Группы Arenadata по работе с промышленным сектором.

На текущий момент общая ёмкость хранения в экосистеме «Озеро данных» составляет примерно 1,5 петабайта. Запущено девять промышленных интеграционных потоков данных, в рамках которых более 2000 показателей поступают в дата-платформу в режиме, близком к реальному времени, и более 3000 показателей — в режиме офлайн. Реализовано более 10 бизнес-кейсов, охватывающих такие направления, как экономика и финансы, производственные и технологические процессы, голосовые помощники.

Примеры реализованных бизнес-кейсов:

• Мониторинг качества производственных данных в отделении карбонильного никеля (ОКН) Кольской ГМК и на линии дробления и измельчения в «ГРК „Быстринское“» (Быстринский ГОК). Технология способствует превентивному выявлению некорректно работающего измерительного оборудования и повышению скорости принятия управленческих решений. Её внедрение позволило на 30% сократить время обнаружения некорректных показателей.
• Система-советчик по оптимизации смешивания концентратов (цех обезвоживания и складирования концентратов на Надеждинском металлургическом заводе, Заполярный филиал). Она помогает операторам подобрать оптимальную стратегию ведения технологического процесса.
• Система-советчик по оптимизации печи взвешенной плавки (на Надеждинском металлургическом заводе, Заполярный филиал).