07 февраля / 22
Описание нового релиза Modus ETL 1.6
1. Сбор данных
1.1. Оптимизированы алгоритмы запуска сбора данных
Оптимизированы алгоритмы запуска сбора данных с помощью "Составов выгрузок":
-блокировки устанавливаются более точечно и отрабатывают быстрее;
-работа с внешними ресурсами (базами данных, таблицами и т.п.) вынесены за пределы транзакции.
1.2. Параметры сбора данных
• Добавлена возможность указания таймаута соединения с Агентом ETL.
• Добавлена возможность использовать произвольных псевдонимов полей в выборках данных при работе через Агента ETL.
1.3. Интеграция с RabbitMQ
Добавлен базовый функционал работы с брокером сообщений RabbitMQ.
1.4. 1С-источники.Параметры для СКД
Для правила выгрузки с использованием СКД доработаны механизмы:
- определения типов полей
- использования параметров.
1.5. Разбор JSON
Добавлен функционал разбора JSON согласно декларативным правилам
1.6. Логирование сбора данных
Добавлена возможность быстрого отбора ошибок в логах сбора данных
1.7. Использование обработок конфигурации
Добавлена возможность использования обработок конфигурации в модулях сбора данных
1.8. Получение данных произвольным кодом
При получении данных произвольным кодом на стороне источнике отключен вывод предупреждения об опасных действиях.
1.9. Исправление ошибок сбора данных
• Исправлена ошибка с размером строки при записи данных из файла в БД.
• Исправлена ошибка записи двойного обратного слэша вместо одинарного для хранилищ на базе PostgreSQL
• Исправлена ошибка возникающая при сборе данных Агентом ETL из некоторых областей баз 1C, развернутых по технологии 1С:Fresh.
• Исправлена ошибка при программной работе с параметрами Состава выгрузки.
2. Обработка / трансформация данных
2.1. Сценарий обработки данных
• Доработаны механизмы управления потоками данных, взаимодействия с временными таблицами, получения сэмплов данных и сбора статистики
• Доработан запуск многопоточных сценариев
• Добавлен функциона "мягкой" остановки, прерывания и продолжения исполнения сценария.
• “Выполнить до текущего шага” - новый контролл и функционал по выполнению ветки сценария до выбранного шага
• Добавлена возможность разделять пакет запросов, описанный в одном шаге на несколько последовательно выполняемых запросов. Ранее весь запрос исполнялся одним пакетом. Для разделения пакета на отдельные сценарии используются специальные "подсказки" в тексте запроса
• Добавлено информационное сообщение, если при подключении к БД поле провайдера не заполнено.
2.2. Интерфейс WorkFlow для визуального проектирования сценариев обработки данных
Интерфейс WorkFlow (бета-версия появилась в ver.1.5 в июне 2021)
развился в полноценный low-code инструмент для настройки ETL-операций:
• размещая шаги получения и обработки данных на холсте и связывая их друг с другом для передачи между шагами потоков данных или управления;
• настраивая правила обработки данных с использованием готовых шаблонов (мастеров) типовых операций с данными - выборки, очистки, дополнения, группировки, фильтрации, мэппинга, транспонирования и т.п.;
• настраивая правила сбора статистики и проверки качества данных.
• При запуске сценария на выполнение в интерфейсе отображается выполнение сценария, сохраняются для последующего анализа логи выполнения и статистика по данным.
Существенно изменен и доработан интерфейс, клиент и API для взаимодействия с FE-клиентом
2.3. Новые шаблоны (мастера) шагов сценария обработки данных
Разработаны новые шаблоны (мастера) для интерфейса WorkFlow:
• Шаблоны с новым типом=”Данные“
- [Источник] для выбора таблиц из хранилища/ базе данных
- [Приемник] для выбора или создания таблиц в хранилище /базе данных
• [Соединения] – для связывания нескольких таблиц и дополнения данных;
эквивалентно оператору JOIN в SQL
• [Объединение] – для объедиения данных из нескольких таблиц; эквивалентно оператору UNION в SQL
• [Отбор] – для фильтрации/отбора данных по условиям
• [Top N] – с выбором N строк и направления сортировке по выбранным полям
• [Pivot] - для группировки и транспонирования данных строкиколонки и формирования сводных таблиц
2.4. Доработаны шаблоны обработки данных
Доработаны шаблоны как с точки зрения интерфейса так и для использования новых механизмов передачи данных между шагами:
• [Произвольная выборка],
• [Группировка]
• [НСИ: дополнение из эталонного справочника] и [НСИ: обновление из эталонного справочника]
- добавлено отображение сэмплов данных и сделаны интерфейсные изменения для связывания таблиц;
• [Unpivot];
• [Создание таблицы БД]
-изменено, что по умолчанию создаются поля с поддержкой null-значений,
• [Кодирование файлов в Base64] - добавлена опция сохранения в БД, ранее была только возможность формирования csv-файла
В большинство мастеров добавлена возможность просматривать результаты запроса,
выполнив до текущего шага
2.5. Конструктор выражений
Разработан базовый вариант “Конструктора выражений”
В конструкторе возможно использовать функции из справочника функций (см. 3 на рисунке ниже), а также поля источников/ входных и потоков данных /выражений (1 и 2) в качестве аргументов функций.
В текущем варианте возможно использовать арифметические операторы и два десятка функций– календарных, строковых, числовых, преобразования типов и замены null-значений. В будущих релизах количество функций будет существенно расширено.
3. Рассылка отчетов по данным из хранилища данных
Появился новый функционал по формированию и рассылке отчетов по данным из хранилища данных.
Функционал включает:
- настройку в Универсальном отчете правил выбора данных из таблицы базы данных;
- настройку для рассылки расписания, списка email и формата отчета.
Схема процесса представлена на рисунке:
Результат: письмо с вложенным отчетом
4. Пресеты ETL
Пресеты предназначены для переноса ETL-правил между инстансами Modus ETL.
• Добавлен контроль версий используемого механизма пресетов.
• Обновлены и доработаны правила обмена используемые по-умолчанию для пресетов.
• Если используются Агенты и выбран Агент по-умолчанию, он будет подставлен в Состав выгрузки, импортированный с пресетом.
5. Прочее
5.1. Права доступа и роли
Добавлена возможность включать/отключать Пакеты, Составы пользователям с правами Наблюдателя
5.2. Система защиты ПО
Обновлена компонента СЛК
5.3. Управление метаданными источников и хранилища данных
Исправлены ошибки обновления метаданных БД
5.4. Исправление ошибок
• Исправлены ошибки работы с кластером серверов 1С с существующим в нем Администратором.
• Исправлена ошибка, возникающая при создании таблицы из правила выгрузки.
• Исправлена ошибка обновления пустой очереди обработки данных.
• Исправлены другие найденные ошибки.
1.1. Оптимизированы алгоритмы запуска сбора данных
Оптимизированы алгоритмы запуска сбора данных с помощью "Составов выгрузок":
-блокировки устанавливаются более точечно и отрабатывают быстрее;
-работа с внешними ресурсами (базами данных, таблицами и т.п.) вынесены за пределы транзакции.
1.2. Параметры сбора данных
• Добавлена возможность указания таймаута соединения с Агентом ETL.
• Добавлена возможность использовать произвольных псевдонимов полей в выборках данных при работе через Агента ETL.
1.3. Интеграция с RabbitMQ
Добавлен базовый функционал работы с брокером сообщений RabbitMQ.
1.4. 1С-источники.Параметры для СКД
Для правила выгрузки с использованием СКД доработаны механизмы:
- определения типов полей
- использования параметров.
1.5. Разбор JSON
Добавлен функционал разбора JSON согласно декларативным правилам
1.6. Логирование сбора данных
Добавлена возможность быстрого отбора ошибок в логах сбора данных
1.7. Использование обработок конфигурации
Добавлена возможность использования обработок конфигурации в модулях сбора данных
1.8. Получение данных произвольным кодом
При получении данных произвольным кодом на стороне источнике отключен вывод предупреждения об опасных действиях.
1.9. Исправление ошибок сбора данных
• Исправлена ошибка с размером строки при записи данных из файла в БД.
• Исправлена ошибка записи двойного обратного слэша вместо одинарного для хранилищ на базе PostgreSQL
• Исправлена ошибка возникающая при сборе данных Агентом ETL из некоторых областей баз 1C, развернутых по технологии 1С:Fresh.
• Исправлена ошибка при программной работе с параметрами Состава выгрузки.
2. Обработка / трансформация данных
2.1. Сценарий обработки данных
• Доработаны механизмы управления потоками данных, взаимодействия с временными таблицами, получения сэмплов данных и сбора статистики
• Доработан запуск многопоточных сценариев
• Добавлен функциона "мягкой" остановки, прерывания и продолжения исполнения сценария.
• “Выполнить до текущего шага” - новый контролл и функционал по выполнению ветки сценария до выбранного шага
• Добавлена возможность разделять пакет запросов, описанный в одном шаге на несколько последовательно выполняемых запросов. Ранее весь запрос исполнялся одним пакетом. Для разделения пакета на отдельные сценарии используются специальные "подсказки" в тексте запроса
• Добавлено информационное сообщение, если при подключении к БД поле провайдера не заполнено.
2.2. Интерфейс WorkFlow для визуального проектирования сценариев обработки данных
Интерфейс WorkFlow (бета-версия появилась в ver.1.5 в июне 2021)
развился в полноценный low-code инструмент для настройки ETL-операций:
• размещая шаги получения и обработки данных на холсте и связывая их друг с другом для передачи между шагами потоков данных или управления;
• настраивая правила обработки данных с использованием готовых шаблонов (мастеров) типовых операций с данными - выборки, очистки, дополнения, группировки, фильтрации, мэппинга, транспонирования и т.п.;
• настраивая правила сбора статистики и проверки качества данных.
• При запуске сценария на выполнение в интерфейсе отображается выполнение сценария, сохраняются для последующего анализа логи выполнения и статистика по данным.
Существенно изменен и доработан интерфейс, клиент и API для взаимодействия с FE-клиентом
2.3. Новые шаблоны (мастера) шагов сценария обработки данных
Разработаны новые шаблоны (мастера) для интерфейса WorkFlow:
• Шаблоны с новым типом=”Данные“
- [Источник] для выбора таблиц из хранилища/ базе данных
- [Приемник] для выбора или создания таблиц в хранилище /базе данных
• [Соединения] – для связывания нескольких таблиц и дополнения данных;
эквивалентно оператору JOIN в SQL
• [Объединение] – для объедиения данных из нескольких таблиц; эквивалентно оператору UNION в SQL
• [Отбор] – для фильтрации/отбора данных по условиям
• [Top N] – с выбором N строк и направления сортировке по выбранным полям
• [Pivot] - для группировки и транспонирования данных строкиколонки и формирования сводных таблиц
2.4. Доработаны шаблоны обработки данных
Доработаны шаблоны как с точки зрения интерфейса так и для использования новых механизмов передачи данных между шагами:
• [Произвольная выборка],
• [Группировка]
• [НСИ: дополнение из эталонного справочника] и [НСИ: обновление из эталонного справочника]
- добавлено отображение сэмплов данных и сделаны интерфейсные изменения для связывания таблиц;
• [Unpivot];
• [Создание таблицы БД]
-изменено, что по умолчанию создаются поля с поддержкой null-значений,
• [Кодирование файлов в Base64] - добавлена опция сохранения в БД, ранее была только возможность формирования csv-файла
В большинство мастеров добавлена возможность просматривать результаты запроса,
выполнив до текущего шага
2.5. Конструктор выражений
Разработан базовый вариант “Конструктора выражений”
В конструкторе возможно использовать функции из справочника функций (см. 3 на рисунке ниже), а также поля источников/ входных и потоков данных /выражений (1 и 2) в качестве аргументов функций.
В текущем варианте возможно использовать арифметические операторы и два десятка функций– календарных, строковых, числовых, преобразования типов и замены null-значений. В будущих релизах количество функций будет существенно расширено.
3. Рассылка отчетов по данным из хранилища данных
Появился новый функционал по формированию и рассылке отчетов по данным из хранилища данных.
Функционал включает:
- настройку в Универсальном отчете правил выбора данных из таблицы базы данных;
- настройку для рассылки расписания, списка email и формата отчета.
Схема процесса представлена на рисунке:
Результат: письмо с вложенным отчетом
4. Пресеты ETL
Пресеты предназначены для переноса ETL-правил между инстансами Modus ETL.
• Добавлен контроль версий используемого механизма пресетов.
• Обновлены и доработаны правила обмена используемые по-умолчанию для пресетов.
• Если используются Агенты и выбран Агент по-умолчанию, он будет подставлен в Состав выгрузки, импортированный с пресетом.
5. Прочее
5.1. Права доступа и роли
Добавлена возможность включать/отключать Пакеты, Составы пользователям с правами Наблюдателя
5.2. Система защиты ПО
Обновлена компонента СЛК
5.3. Управление метаданными источников и хранилища данных
Исправлены ошибки обновления метаданных БД
5.4. Исправление ошибок
• Исправлены ошибки работы с кластером серверов 1С с существующим в нем Администратором.
• Исправлена ошибка, возникающая при создании таблицы из правила выгрузки.
• Исправлена ошибка обновления пустой очереди обработки данных.
• Исправлены другие найденные ошибки.