07 февраля / 21

Новый релиз Modus ETL 1.4.12

Описание нового релиза Modus ETL 1.4.12


1. Сбор данных 
  • Доработан механизм многопоточной записи данных в хранилище.
В результате обеспечено увеличение производительности записи данных в хранилище.

  • Переработана подсистема рассылки оповещений.
При ошибке в пакете в некоторых случаях не приходило/не обрабатывалось сообщение об ошибке.

  • Добавлена возможность настройки служебных параметров для модулей сбора данных.
Параметры для настройки модулей сбора данных разделены на технические (настраиваются администратором/разработчиком) и пользовательские.

  • Получение данных из веб-сокетов
Обеспечена технологическая возможность получения данных из веб-сокетов. WebSocket — протокол связи поверх TCP-соединения, предназначенный для обмена сообщениями между веб-сервером и клиентом в режиме реального времени.

2. Обработка / трансформация данных
  • Доработана форма ввода параметров для Сценария обработки данных
Форма настройки параметров для составов выгрузки, сценариев и пакетов – одна.
В настройке пакетов параметров для сценариев нет необходимости – это учтено в доработанной форме ввода параметров для Сценария.

  • Доработан шаблон для "Оператора Unpivot"
- добавлена поддержка СУБД PostgreSQL;
- изменен интерфейс.
Операция Unpivot позволяет перенести данные из колонок в строки таблицы.
 
  • Доработан шаблон "Маппинг полей 2х таблиц"
- изменен интерфейс и исправлены ошибки.
Этот шаблон (мастер) обеспечивает возможность настраивать правила заполнения таблицы приемника по данным из таблицы источника.
 
  • Исправлены ошибки в использовании механизма вложенных запросов в сценариях
Механизм вложенных запросов дает возможность использовать скрипт для выборки данных из одного шага сценария в другом шаге.


3. Управление хранилищем данных

  •    Переработаны механизмы загрузки и обновления метаданных из СУБД

Метаданные СУБД содержат информацию о базах данных, схемах, таблицах (именах, полях, первичных и внешних ключах). Метаданные базы данных хранилища используются при проектировании ETL-процессов.


4. Прочее

  • Лицензирование и защита продукта

Переработана работа ядра с лицензией СЛК - сокращено до минимально достаточного количества вызовов функций проверки лицензии СЛК, т.к. проверки в некоторых случаях мешали нормальному выполнению ETL-пакетов

  • Исправлены найденные ошибки