04 июня / 21

Новый релиз Modus ETL 1.5

Описание нового релиза Modus ETL 1.5.

1. Сбор данных

1.1. Параметры сбора данных

Добавлена возможность переопределения "Параметров запроса" и "Шаблонов запроса", используя обработчик, написанный на языке 1С.

Вариант использования: инкрементальное получение данных с Даты последнего обновления.

Реализация: в “Cоставе выгрузки” добавлена возможность написать свой обработчик для переопределения параметров этого состава. Это позволяет с помощью произвольного кода 1С установить Параметр в значение, которое, например, сохранено в определенном поле таблицы БД DWH.

Добавлена возможность параметризации правил сбора данных с видом "Произвольный код".

В форме “Установить правила выгрузки” для вида правила “Произвольный код” или “Произвольный код на стороне источника” добавлен вывод закладки с заполнением Параметров – см. рисунок ниже.

Получение данных из 1С, используя “Схему источника(СКД)”

- доработаны механизмы работы с параметрами типа "Стандартная дата"

1.2. Выгрузка в отчет

При сборе данных через обработку “Выгрузка в отчет” теперь используются универсальные и общие "Модули сбора данных".
При ”ручном” сборе данных также как и при автоматическом создается Состав выгрузки, но с признаком “Cлужебный”.
В списке Составов выгрузки служебные элементы по умолчанию не отображаются, но их можно увидеть по кн[Показывать служебные].

1.3. Запись полей с типом Дата в БД MSSQL

Изменен формат записи полей с типом date (Дата) в базу данных MSSQL.

1.4. Логирование сбора данных

Добавлена информация в лог при "порционном" получении данных.

Цель - получение полной информации о получении данных порциями из журнала событий.
Для заданий получения данных в комментарий добавлена информация о номере пакета с параметрами и таблице для записи.
Для заданий обработки Головных элементов в комментарий добавлена информация откуда и куда копируются данные.

2. Обработка / трансформация данных

2.1. Интерфейс WorkFlow для визуального проектирования сценариев обработки данных

Modus ETL развивается в концепции low-code, что подразумевает возможность настраивать ETL-операции в визуальном интерфейсе без необходимости написания кода.

В новом релизе появился интерфейс WorkFlow, который является более функциональной и удобной альтернативой настройке шагов сценария в виде таблицы. Кроме того, шаги (“ветки”) сценария могут выполняться параллельно, что обеспечивает гибкоcть настройки и большую производительность обработки данных.

Интерфейс WorkFlow дает возможность проектировать сценарии обработки данных:
- размещая шаги на холсте и связывая шаги друг с другом для передачи данных и/или управления между шагами,
- настраивая для шага правила обработки данных с использованием готовых шаблонов (мастеров) и правила сбора статистики и проверки качества данных.
-при запуске сценария на выполнение в интерфейсе отображается выполнение сценария, сохраняются для последующего анализа логи выполнения и статистика по данным.

WorkFlow – пример параллельного выполнения шагов сценария:

2.2. Новые шаблоны(мастера) шагов сценария обработки данных

Разработаны новые шаблоны шагов сценария обработки данных

НСИ – дополнение из эталонного справочника
Создание таблицы БД
Создание временной таблицы БД
Кодирование файлов в Base64
Бэкап таблицы БД

2.3. Доработаны шаблоны шагов обработки данных

Доработаны существовавшие ранее формы основных шаблонов и шаблонов сервисных операций.
Добавлена возможность обновления метаданных БД хранилища DWH из шаблонов

2.4. Переработаны механизмы настройки и исполнения сценариев

Переработан механизм настройки и работы со сценариями в старом (табличном) и новом (WorkFlow) интерфейсах
Переработан механизм исполнения сценария.
Реализован новый интерфейс отслеживания выполнения шагов сценария – таблица “Лога выполнения сценария” со списком шагов, их статусом длительностью, описанием ошибки выполнения.
Для многопоточной/параллельной обработки данных в рамках одного сценария разработан новый механизм выполнения DAG сценариев.
Выполнена адаптация форм запуска сценариев под новый механизм работы.

3. Управление метаданными источников и хранилища данных

Переработаны механизмы загрузки метаданных для различных СУБД
Ускорена процедура загрузки метаданных хранилища.
Исправлена ошибка при загрузке метаданных при изменениях таблицы хранилища данных DWH
Добавлена возможность сбора информации о метаданных конфигураций 1С с использованием Адаптера.

4. Интерфейс

Существенно переработан и изменен дизайн приложения

Изменены стили цветового оформления основных элементов интерфейса.
Интерфейс существенно переработан для большего удобства работы, однообразия оформления и т.д
Изменены иконки для меню и начальной страницы
Изменены графические примитивы для “Диаграммы потока управления”

5. Прочее

5.1. Пресеты ETL.

Доработан механизмы формирования (экспорта) пресетов.
Доработаны роли для работы с подсистемой.

5.2. Система защиты ПО

Доработаны роли для работы с системой защиты

5.3. Исправление ошибок

Исправлены ошибки в RLS
Исправлены ошибки с наименованиями объектов базы данных.
Исправлены прочие обнаруженные ошибки