MODUS вошел в тройку лидеров исследования «Круг-Громова BI» российских вендоров ETL.

После исследования в 2022г. BI (Business Intelligence) систем, рынок получил отдельную оценку российских ETL решений.

Представляем результаты исследования «Круг Громова ETL&Connectors».

BI Круг Громова – это ежегодное независимое изучение российских BI-систем. В этот раз провели флагманское исследование ETL-решений. Так как именно ETL максимально тесно связаны с BI-платформами и выбор BI-платформы во многих случаях напрямую зависит и от выбора ETL.

Напомним, что MODUS – это комплекс BI и ETL решений. Далеко не все BI-платформы имеют собственные встроенные ETL. Наряду с высокой оценкой последнего исследования Modus-BI, нам интересно было получить экспертное мнение и о нашем ETL продукте. Для нас это важная оценка работы и понимание своей миссии на рынке IT-компаний.

Итак, по версии исследования, Modus-ETL вошел в тройку лидеров наиболее распространенных решений на рынке, с активной стратегией продвижения. А также является импортозамещающим аналогом[1]. Платформа содержит множество готовых шаблонов и мастеров, при этом не ограничивает пользователя в применении произвольного кода на различных языках программирования (D/1C/Python)

Качество продукта оценивалось по восьми критериям отбора:

1. соответствия прямому назначению

2. Extract (загрузка данных в платформу

3. Transform (трансформация данных)

4. Load (загрузка)

5. портал - изучает или нет работу интерфейсов системы

6. экспорт и шеринг

7. затраты на внедрение

8. наличие плана развития

9. соответствие вендора высокому уровню качества производства ИТ.

Представляем определяющие характеристики исследования, которые позволили Modus-ETL попасть в лидеры:

Множества готовых коннекторов для извлечения данных из различных источников (Бизнес-приложения, базы данных, веб-сервисы, файлы и пр). Сбор данных осуществляется в многопоточном режиме с управлением очередями и обновлением данных по расписанию.
Low-code интерфейса (WorkFlow) для визуальной настройки процессов трансформация данных, используя мастера, позволяющие:

– группировать, фильтровать, сортировать, дедуплицировать, форматировать данные, применять функции преобразования дат и строк;

– настраивать-изменять структуру таблиц; – настраивать соединение, объединение, маппинг таблиц;

– очищать, стандартизировать и категоризировать данные.

Управления структурой корпоративного хранилища данных (DWH), с возможностью выбора типа СУБД под параметры проекта. Поддерживаемые базы данных: MSSQL, MySQL, SQLite, PostgreSQL, Vertica, ClickHouse, Greenplum (Arenadata DB).
Расширенной аналитики (DataMining) на основе библиотек Python. Доступны мастер-интерфейсы для моделирования функциями регрессии, кластеризации и прогнозирования.

По резюме исследования, Modus-ETL, является продвинутым решением и в управлении качеством данных Data Quality Management (DQM) за счет:

• модернизации текущих и добавление новых шаблонов/мастеров трансформации данных;

• разработке дополнительных интерфейсов продвинутой аналитики (DataMining) за счет увеличения поддерживаемых библиотек Python (временные ряды, прогнозирование и др.);

• UX/UI дизайн — добавление пользовательских подсказок, упрощение настройки и развитие юзабилити платформы;

• системному совершенствованию механизмов обработки данных.

Так благодаря инструментам DQM, у управляющей компании, при внедрении ETL, выявили 72 уникальных наименования позиции «дворник» - типографские, орфографические ошибки, неполные данные и т.д. Одна только эта строка сформировала снежный ком искажений на разных уровнях пользователей данной информации, недостоверность картины положения компании, неверные бизнес решения. Благодаря интегрированным функциям управления качеством данных, платформа идентифицировала все наименования, устранила дубликаты, предоставила функцию автоматического объединения. В итоге клиент получил структурированные данные для любого среза и дальнейшей аналитики, а бонусом выявилось хищение на предприятии.

Для защиты от несанкционированного доступа к данным используются средства SSLшифрования данных. Логируются действия пользователей по созданию, удалению и редактированию объектов. А также есть возможность настроить аудит для регистрации истории изменений.

Ключевое преимущество при извлечении данных из конфигураций 1С — возможность использовать консоль запросов на языке 1С, отобразить структуру данных источника для выбора с помощью чек-боксов необходимых данных для выгрузки, для инкрементальной выгрузки данных используется «план обмена» в конфигурации источника. Что позволяет клиентам силами своих сотрудником внедрять платформу.

Отмечено, что Modus-ETL предоставляется с открытым исходным кодом и доступен пользователю для самостоятельной модификации и усовершенствованию.

Имеет около 100 внедрений в разных сферах бизнеса, так и в сфере государственного управления.

Таким образом, результаты исследования позволили увидеть Modus-ETL со стороны, а пользователей уверить, что рынок российских вендоров составляет достойную конкуренцию тем, кто ушёл.

Modus-ETL является самостоятельным продуктом для подготовки очищенных данных для любых OLAP или BI-систем. А в комплексе с Modus-BI становится платформенной системой для эффективного управления.

Мы продолжаем совершенствовать наши системы и приглашаем к структурированию данных вместе с MODUS.

[1] Решение Modus ETL внесено в единый реестр Российского ПО