НИИ ЦЭПП

О заказчике

ФГАУ «НИИ «Центр экологической промышленной политики» (ЦЭПП) — подведомственная организация Минпромторга России. С 2017 года институт выполняет функции Бюро наилучших доступных технологий (Бюро НДТ): разрабатывает и актуализирует информационно-технические справочники, отслеживает экологические показатели промышленных предприятий, оказывает экспертную и консультационную поддержку при рассмотрении комплексных экологических разрешений (КЭР).

За годы работы ЦЭПП накопил терабайты данных — от статистики по промышленности до экспертных заключений, охватывающих объекты по всей стране.

Ситуация до внедрения

Первым шагом к систематизации стала собственная разработка — «Единый информационный ресурс» (ЕИР), призванный аккумулировать и систематизировать накопленный массив. Но хранение данных и их анализ — это разные задачи. Объём информации вырос до уровня, при котором ручная обработка превратилась в узкое место: подготовка одного аналитического отчёта занимала несколько дней, а дублирование данных и ошибки в разрозненных файлах снижали достоверность итоговой аналитики. Около 20% архивных Excel-файлов имели нестандартные форматы, требующие ручной верификации.

Почему выбрали Modus

В 2022 году, в рамках курса на импортозамещение, ЦЭПП искал российское решение, которое закрывало бы весь цикл работы с данными — от инженерии до визуализации. Выбор остановился на Modus ETL и Modus BI по четырем ключевым критериям:

Российский вендор: включен в Единый реестр российского ПО — полное соответствие требованиям импортозамещения без рисков совместимости.

Единый стек ETL + BI: один вендор закрывает весь конвейер данных — от источника до дашборда, без сторонних интеграций.

On-premise развертывание: данные о промышленных объектах остаются внутри контура заказчика. Полное соответствие требованиям конфиденциальности.

Гибкость и масштабируемость: быстрая адаптация под специфику учреждения и наращивание числа пользователей и дашбордов без смены платформы.

Цели и задачи

Главная задача — выстроить полный цикл работы с данными: от инженерии и очистки до визуализации и доступа пользователей. Конкретнее это означало:

• очистку и нормализацию данных, устранение дублей и форматных ошибок;

• проектирование корпоративного хранилища данных и его сопровождение;

• построение автоматизированного ETL-конвейера — по расписанию и в режиме реального времени;

• контроль качества данных: целостность и непротиворечивость;

• интеграцию с BI-платформой и подготовку данных для аналитических задач.

Как проходило внедрение

Проект реализовывался в три этапа за 8 месяцев.

ЭТАП 1: Аудит данных (2 месяца)

Инвентаризация источников, оценка качества, выработка стандартов. 

Главная сложность: ~20% архивных Excel-файлов с нестандартными форматами — потребовались индивидуальные скрипты миграции.

ЭТАП 2: Data Engineering (3 месяца)

Разработка ETL-конвейера на базе Modus ETL, проектирование хранилища, полная автоматизация обработки данных. После этого этапа подготовка данных перестала зависеть от ручного труда.

ЭТАП 3: BI-интеграция (3 месяца)

Подключение Modus BI, создание первых дашбордов, обучение пользователей. К окончанию внедрения лимиты дашбордов текущего тарифа были исчерпаны — понадобилось масштабирование.

Роль Modus ETL

Modus ETL взял на себя извлечение данных из разнородных источников, включая нестандартные Excel-архивы, их трансформацию по правилам качества и загрузку в хранилище:

• Обработка проблемных архивов: для 20% файлов с нестандартными форматами разработаны индивидуальные скрипты миграции — ни одна запись не потерялась при переносе.

• Автоматический конвейер: запуск по расписанию и в режиме реального времени — данные обновляются без участия аналитиков.

• Data Quality Management: встроенный контроль целостности и непротиворечивости каждой загрузки — именно это снизило количество ошибок в данных на 90%.

• Безопасность: ролевая модель доступа и работа с обезличенными агрегированными данными реализованы в соответствии с требованиями законодательства о конфиденциальности.

Роль Modus BI

Modus BI был подключен к хранилищу на третьем этапе и обеспечил визуальный слой аналитики для трех направлений деятельности ЦЭПП. Гибкость платформы позволила быстро адаптировать ее под специфику учреждения. Итог — 50 дашбордов с единой ролевой моделью доступа и возможностью работы из любой точки страны.

Результаты

ETL-конвейер убрал ручной труд из подготовки данных — цикл сократился с нескольких дней до минут. За этим последовали системные изменения по всем направлениям:

–70% трудозатрат на обработку данных: то, что раньше требовало нескольких дней ручной работы, теперь выполняется автоматически по расписанию.

×2 скорость сбора статистики: ручное сведение таблиц заменено автоматическим обновлением.

–90% ошибок в данных: автоматизированный контроль качества исключил человеческий фактор.

3 часа вместо 3 дней — оперативная подготовка аналитики для помощи в разработке ИТС НДТ.

+50% скорость принятия решений в Ситуационном центре промышленности.

+35% вовлеченность экспертов Штаба КЭР — появился новый инструмент межведомственного взаимодействия.

24/7 доступ для экспертов из всех регионов страны: единый источник данных вместо разрозненных файлов.

Побочный, но важный эффект: внедрение открыло новые направления деятельности. «Ситуационный центр промышленности» появился именно благодаря тому, что данные стали доступны в режиме реального времени — и сразу возник запрос на оперативный мониторинг.

Как система работает сегодня

На платформе реализованы ролевая модель доступа и работа с обезличенными и агрегированными данными — в соответствии с требованиями законодательства о конфиденциальности. Сейчас система охватывает большинство ключевых направлений института:

Статистика и НДТ: 25 дашбордов для мониторинга показателей информационно-технических справочников и прогнозирования.

Ситуационный центр промышленности: 15 дашбордов для аналитики в реальном времени. Руководители и эксперты моментально получают актуальную картину без запросов в аналитический отдел.

Штаб КЭР: 10 дашбордов для экспертной аналитики в рамках межведомственного взаимодействия по комплексным экологическим разрешениям. Доступ круглосуточный, из любой точки страны.

Дмитрий Ерёмин, руководитель Департамента экспертно-аналитической деятельности и проектного управления ФГАУ «НИИ "ЦЭПП"»:

«Для нас было принципиально важно создать инструмент коллективной работы экспертного сообщества НДТ, который позволяет специалистам одновременно работать вне зависимости от времени и локации. Россия — страна, где рабочий день практически не заканчивается: когда в одном регионе он завершается, в другом только начинается. Благодаря Modus эксперты получили круглосуточный доступ к аналитической информации и возможность эффективно работать из любой точки страны. Результаты измеряются не только ростом эффективности при сокращении трудозатрат, но и высоким уровнем вовлечённости пользователей и удобством самой системы».