Новый релиз «Модус:Управление корпоративным хранилищем данных (ETL) 1.4.8.»

Описание нового релиза «Модус:ETL 1.4.8.»

1. Сбор данных

• Получение данных из 1С-источника, используя схему СКД.
• Получение схемы компоновки данных (СКД) теперь возможно при подключении через Адаптер ETL-1С (ранее схему СКД возможно было получить из источника только используя COM-соединение).
• Расширена функциональность Агента ETL в части настройки использования системного прокси.

2. Обработка данных

Добавлена функциональность управления параметрами ADO для шагов сценария обработки данных. Используя «Правило применения настроек ADO» можно указать параметры ADO (таймаут выполнения, опции для метода execute) для типовых шагов сценария.

3. Управление НСИ в модуле НСИ

• Разработан новый функционал по авто-формированию структур НСИ (таблиц в БД PostgreSQL); генерации представлений маппингов.
• Доработаны интерфейс по настройке маппингов и обработка по выгрузке/загрузке маппинга в/из Excel файл шаблона маппинга.

3.1. НСИ. Формирование таблиц НСИ

Ограничение: Модуль НСИ пока работает только с хранилищем на БД PostgreSQL.

На вкладке "Функциональность" формы "Базы данных" для баз данных PostgreSQL добавлены кнопки :

• [Создать/проверить таблицы справочников] – создает универсальные структуры для модуля НСИ в выбранной базе данных.
• [Установить подключение к таблицам НСИ] - подключает базу данных с созданной структурой к модулю НСИ
• [Создать/проверить представления справочников] - создает представления (view) для справочников и маппингов.

3.2. НСИ. Генерация представлений маппингов

Добавлен функционал генерации представлений (SQL-view) для маппингов.
Синтаксис имени представления для маппингов: «vw_АлиасСправочникаПервичныхДанных_АлиасЭталонногоСправочника».
Эти представления возможно использовать в сценариях обработки данных для стандартизации, категоризации и дополнения первичных данных, соединяя в SQL-скриптах таблицы первичных данных с представлениями маппинга, используя join’ы.
В последующих релизах ETL будут разработаны мастера (визуальные интерфейсы) для настройки использования маппингов и необходимые SQL-скрипты будут формироваться системой автоматически.

3.3. НСИ. Маппинг с несколькими эталонами

Расширены функциональные возможности по настройке мапингов в интерфейсах НСИ.
Добавлена возможность настройки маппинга одновременно для нескольких эталонных справочников. Пользователь в интерфейсе “Формы маппинга” настраивает соответствия элементов первичного справочника с элементами нескольких справочников, содержащих эталонные/ групповые/ категориальные атрибуты и характеристики:

3.4. НСИ. Выгрузка и загрузка маппинга в/из Excel файл шаблона

Маппинги возможно подготавливать в xlsx-файлах и загружать в структуры НСИ.
Для этого функционала сделаны следующие доработки:

• Выгрузка в Excel файл шаблона
• Доработана выгрузка из формы маппинга в xlsx-файл: теперь возможно выгружать поля всех маппингов, которые выбраны.
• Изменено форматирование в xlsx-файле шаблона – выравнивание текста влево, шрифт нежирный.
• Загрузка данных маппинга из файла шаблона
• Добавлена возможность загрузки данных маппинга из xlsx-файла – при этом данные загружаются по наименованиям столбцов.
• Добавлена проверка на уникальность записей по первичным данным.
• Для маппингов добавлена проверка на уникальность записей по Наименованию из первичного справочника.

4. Администрирование прав пользователей

Добавлены поставляемые профили для групп доступа.
При первом запуске конфигурации автоматически создаются следующие профили групп доступа:

• Администраторы ETL
• Аналитики
• Наблюдатели
• Только просмотр

5. Настроки параметров администрирования кластеров

В меню настроек ETL добавлен пункт Главное\Информация\Параметры администрирования, открывающий форму для настройки параметров администрирования кластера:

6. Прочее

• Появился функционал по проверке доступности Агентов и БД, тестированию основных механизмов ETL
• Добавлен отчет по контролю доступности баз данных и Агентов ETL. Отчет может быть использован для периодической рассылки. Тестовые правила, сценарии, составы выгрузок теперь устанавливаются при первоначальном разворачивании ETL. Тестовые правила предназначены для проверки основных механизмов ETL для следующих объектов: Баз, Источников, Наборов данных; Правил и Составов выгрузки; Сценариев обработки данных