04 июня / 21

Новый релиз Modus ETL 1.5

Описание нового релиза Modus ETL 1.5.

1. Сбор данных

1.1. Параметры сбора данных

  • Добавлена возможность переопределения "Параметров запроса" и "Шаблонов запроса", используя обработчик, написанный на языке 1С.
Вариант использования: инкрементальное получение данных с Даты последнего обновления.
Реализация: в “Cоставе выгрузки” добавлена возможность написать свой обработчик для переопределения параметров этого состава. Это позволяет с помощью произвольного кода 1С установить Параметр в значение, которое, например, сохранено в определенном поле таблицы БД DWH.




  • Добавлена возможность параметризации правил сбора данных с видом "Произвольный код".

В форме “Установить правила выгрузки” для вида правила “Произвольный код” или “Произвольный код на стороне источника” добавлен вывод закладки с заполнением Параметров – см. рисунок ниже.



  • Получение данных из 1С, используя “Схему источника(СКД)”

- доработаны механизмы работы с параметрами типа "Стандартная дата"


1.2. Выгрузка в отчет

При сборе данных через обработку “Выгрузка в отчет” теперь используются универсальные и общие "Модули сбора данных".
При ”ручном” сборе данных также как и при автоматическом создается Состав выгрузки, но с признаком “Cлужебный”.
В списке Составов выгрузки служебные элементы по умолчанию не отображаются, но их можно увидеть по кн[Показывать служебные].

1.3. Запись полей с типом Дата в БД MSSQL

Изменен формат записи полей с типом date (Дата) в базу данных MSSQL.

1.4. Логирование сбора данных
Добавлена информация в лог при "порционном" получении данных.
Цель - получение полной информации о получении данных порциями из журнала событий.
Для заданий получения данных в комментарий добавлена информация о номере пакета с параметрами и таблице для записи.
Для заданий обработки Головных элементов в комментарий добавлена информация откуда и куда копируются данные.


2. Обработка / трансформация данных

2.1. Интерфейс WorkFlow для визуального проектирования сценариев обработки данных

Modus ETL развивается в концепции low-code, что подразумевает возможность настраивать ETL-операции в визуальном интерфейсе без необходимости написания кода.

 В новом релизе появился интерфейс WorkFlow, который является более функциональной и удобной альтернативой настройке шагов сценария в виде таблицы. Кроме того, шаги (“ветки”) сценария могут выполняться параллельно, что обеспечивает гибкоcть настройки и большую производительность обработки данных.

 Интерфейс WorkFlow дает возможность проектировать сценарии обработки данных:
- размещая шаги на холсте и связывая шаги друг с другом для передачи данных и/или управления между шагами,
- настраивая для шага правила обработки данных с использованием готовых шаблонов (мастеров) и правила сбора статистики и проверки качества данных.
-при запуске сценария на выполнение в интерфейсе отображается выполнение сценария, сохраняются для последующего анализа логи выполнения и статистика по данным.






 WorkFlow – пример параллельного выполнения шагов сценария:





2.2. Новые шаблоны(мастера) шагов сценария обработки данных

Разработаны новые шаблоны шагов сценария обработки данных

  • НСИ – дополнение из эталонного справочника

  • Создание таблицы БД

  • Создание временной таблицы БД

  • Кодирование файлов в Base64

  • Бэкап таблицы БД


2.3. Доработаны шаблоны шагов обработки данных

  • Доработаны существовавшие ранее формы основных шаблонов и шаблонов сервисных операций.

  • Добавлена возможность обновления метаданных БД хранилища DWH из шаблонов


2.4. Переработаны механизмы настройки и исполнения сценариев

  • Переработан механизм настройки и работы со сценариями в старом (табличном) и новом (WorkFlow) интерфейсах

  • Переработан механизм исполнения сценария.

  • Реализован новый интерфейс отслеживания выполнения шагов сценария – таблица “Лога выполнения сценария” со списком шагов, их статусом длительностью, описанием ошибки выполнения.

  • Для многопоточной/параллельной обработки данных в рамках одного сценария разработан новый механизм выполнения DAG сценариев.

  • Выполнена адаптация форм запуска сценариев под новый механизм работы.


3. Управление метаданными источников и хранилища данных

  • Переработаны механизмы загрузки метаданных для различных СУБД

  • Ускорена процедура загрузки метаданных хранилища.

  • Исправлена ошибка при загрузке метаданных при изменениях таблицы хранилища данных DWH

  • Добавлена возможность сбора информации о метаданных конфигураций 1С с использованием Адаптера.


4. Интерфейс

Существенно переработан и изменен дизайн приложения

  • Изменены стили цветового оформления основных элементов интерфейса.

  • Интерфейс существенно переработан для большего удобства работы, однообразия оформления и т.д

  • Изменены иконки для меню и начальной страницы

  • Изменены графические примитивы для “Диаграммы потока управления”









5. Прочее

5.1. Пресеты ETL.

  • Доработан механизмы формирования (экспорта) пресетов.

  • Доработаны роли для работы с подсистемой.


5.2. Система защиты ПО

  • Доработаны роли для работы с системой защиты


5.3. Исправление ошибок

  • Исправлены ошибки в RLS

  • Исправлены ошибки с наименованиями объектов базы данных.

  • Исправлены прочие обнаруженные ошибки