Новый релиз Modus ETL 1.5
1. Сбор данных
1.1. Параметры сбора данных
- Добавлена возможность переопределения "Параметров запроса" и "Шаблонов запроса", используя обработчик, написанный на языке 1С.

- Добавлена возможность параметризации правил сбора данных с видом "Произвольный код".
В форме “Установить правила выгрузки” для вида правила “Произвольный код” или “Произвольный код на стороне источника” добавлен вывод закладки с заполнением Параметров – см. рисунок ниже.

- Получение данных из 1С, используя “Схему источника(СКД)”
- доработаны механизмы работы с параметрами типа "Стандартная дата"
1.2. Выгрузка в отчет
При ”ручном” сборе данных также как и при автоматическом создается Состав выгрузки, но с признаком “Cлужебный”.
В списке Составов выгрузки служебные элементы по умолчанию не отображаются, но их можно увидеть по кн[Показывать служебные].
1.3. Запись полей с типом Дата в БД MSSQL
1.4. Логирование сбора данных
Для заданий получения данных в комментарий добавлена информация о номере пакета с параметрами и таблице для записи.
Для заданий обработки Головных элементов в комментарий добавлена информация откуда и куда копируются данные.
2.1. Интерфейс WorkFlow для визуального проектирования сценариев обработки данных
В новом релизе появился интерфейс WorkFlow, который является более функциональной и удобной альтернативой настройке шагов сценария в виде таблицы. Кроме того, шаги (“ветки”) сценария могут выполняться параллельно, что обеспечивает гибкоcть настройки и большую производительность обработки данных.
Интерфейс WorkFlow дает возможность проектировать сценарии обработки данных:
- размещая шаги на холсте и связывая шаги друг с другом для передачи данных и/или управления между шагами,
- настраивая для шага правила обработки данных с использованием готовых шаблонов (мастеров) и правила сбора статистики и проверки качества данных.
-при запуске сценария на выполнение в интерфейсе отображается выполнение сценария, сохраняются для последующего анализа логи выполнения и статистика по данным.


WorkFlow – пример параллельного выполнения шагов сценария:

2.2. Новые шаблоны(мастера) шагов сценария обработки данных
Разработаны новые шаблоны шагов сценария обработки данных
-
НСИ – дополнение из эталонного справочника
-
Создание таблицы БД
-
Создание временной таблицы БД
-
Кодирование файлов в Base64
-
Бэкап таблицы БД
2.3. Доработаны шаблоны шагов обработки данных
-
Доработаны существовавшие ранее формы основных шаблонов и шаблонов сервисных операций.
-
Добавлена возможность обновления метаданных БД хранилища DWH из шаблонов
2.4. Переработаны механизмы настройки и исполнения сценариев
-
Переработан механизм настройки и работы со сценариями в старом (табличном) и новом (WorkFlow) интерфейсах
-
Переработан механизм исполнения сценария.
-
Реализован новый интерфейс отслеживания выполнения шагов сценария – таблица “Лога выполнения сценария” со списком шагов, их статусом длительностью, описанием ошибки выполнения.
-
Для многопоточной/параллельной обработки данных в рамках одного сценария разработан новый механизм выполнения DAG сценариев.
-
Выполнена адаптация форм запуска сценариев под новый механизм работы.
3. Управление метаданными источников и хранилища данных
-
Переработаны механизмы загрузки метаданных для различных СУБД
-
Ускорена процедура загрузки метаданных хранилища.
-
Исправлена ошибка при загрузке метаданных при изменениях таблицы хранилища данных DWH
-
Добавлена возможность сбора информации о метаданных конфигураций 1С с использованием Адаптера.
4. Интерфейс
Существенно переработан и изменен дизайн приложения
-
Изменены стили цветового оформления основных элементов интерфейса.
-
Интерфейс существенно переработан для большего удобства работы, однообразия оформления и т.д
-
Изменены иконки для меню и начальной страницы
-
Изменены графические примитивы для “Диаграммы потока управления”



5. Прочее
5.1. Пресеты ETL.
-
Доработан механизмы формирования (экспорта) пресетов.
-
Доработаны роли для работы с подсистемой.
5.2. Система защиты ПО
- Доработаны роли для работы с системой защиты
5.3. Исправление ошибок
-
Исправлены ошибки в RLS
-
Исправлены ошибки с наименованиями объектов базы данных.
-
Исправлены прочие обнаруженные ошибки