09 октября / 19
Новый релиз «Модус:Управление корпоративным хранилищем данных(ETL) 1.4.1.»
1. Работа ETL под управлением Linux
Теперь ETL может работать под управлением ОС Linux.
Для работы ETL под ОС Linux:
Выполнены доработки по получению данных из 1С-источников с помощью АгентаETL. Производительность сбора данных из 1С-источников с использованием мультиплатформенного АгентаETL существенно выше (в 5 и более раз), чем без использования.
Сбор данных из 1C:Fresh. Добавлена возможность получения данных по базам-областям-приложениям из типового Менеджера сервиса.
Переработан алгоритм расчета виджета "Текущая очередь".
3. Загрузка из файлов
Переработан блок получения данных из нескольких файлов (xlsx, csv и т.п.). Добавлена возможность динамической генерации набора источников для файлов заданных маской.
Добавлена возможность формирования файла Schema.ini для работы с файлами *.csv.
Файл Schema.ini необходим при использовании текстового драйвера (Microsoft Text Driver) для работы с данными текстовых файлов *.csv. Файл схемы содержит сведения о формате файла, колонках, типах данных и др. Функционал предоставляет возможность автоматически сформировать файл Schema.ini при нажатии на кнопку в мастере.
4. Интеграция с "Полиматикой" доработана под новый API для новой версии “Полиматики”.
5. Трансформация данных.
Разработан механизм для хранения шаблонов текстов запросов для нескольких типов СУБД. Механизм позволяет сохранять исходные коды различных диалектов СУБД, что дает пользователю ETL возможность выбора СУБД для использования в качестве хранилища данных.
6. Расчетные модули. Разработана версия-1 модуля KPI.
Для расчета аналитических показателей разной степени сложности разработан модуль настройки правил и порядка расчета. Модуль позволяет в качестве исходных данных использовать первичные данные, полученных из источников, а также ранее рассчитанные показатели.
Модуль может быть использован для расчета показателей из разных предметных областей.
Интерфейс настройки показателей позволяет создавать сценарии расчета без навыков программирования. Готовые сценарии можно включить в процесс обработки данных.
7. Трансформация данных в схему “Звезда”. Модели данных.
Отображение связей в ER-диаграммах моделей адаптировано для СУБД PostgreSQL.
В функциональность генерации сценариев трансформации в схему "Звезда" добавлено создание сценариев удаления моделей.
Добавлена возможность мэппинга полей при повторном использовании справочников в режиме "С созданием новых записей".
8. Разграничение доступа.
Доработано ограничение по проектам в части баз данных.
Исправлена ошибка профилей пользователей в части доступных ролей.
Добавлены права на запуск обработки [Контроль работы] для Роли "Аналитик".
Теперь ETL может работать под управлением ОС Linux.
Для работы ETL под ОС Linux:
- Разработан новый АгентETL на Golang, который позволяет многопоточно и с управлением очередями получать данные из различных источников (1С, СУБД, ODBC-источников, файлов и т.д.)
- Доработан Адаптер ETL-1С для возможности взаимодействия с новым Агентом УЕД.
- Доработаны механизмы взаимодействия с хранилищем ADO/АгентETL.
Выполнены доработки по получению данных из 1С-источников с помощью АгентаETL. Производительность сбора данных из 1С-источников с использованием мультиплатформенного АгентаETL существенно выше (в 5 и более раз), чем без использования.
Сбор данных из 1C:Fresh. Добавлена возможность получения данных по базам-областям-приложениям из типового Менеджера сервиса.
Переработан алгоритм расчета виджета "Текущая очередь".
3. Загрузка из файлов
Переработан блок получения данных из нескольких файлов (xlsx, csv и т.п.). Добавлена возможность динамической генерации набора источников для файлов заданных маской.
Добавлена возможность формирования файла Schema.ini для работы с файлами *.csv.
Файл Schema.ini необходим при использовании текстового драйвера (Microsoft Text Driver) для работы с данными текстовых файлов *.csv. Файл схемы содержит сведения о формате файла, колонках, типах данных и др. Функционал предоставляет возможность автоматически сформировать файл Schema.ini при нажатии на кнопку в мастере.
4. Интеграция с "Полиматикой" доработана под новый API для новой версии “Полиматики”.
5. Трансформация данных.
Разработан механизм для хранения шаблонов текстов запросов для нескольких типов СУБД. Механизм позволяет сохранять исходные коды различных диалектов СУБД, что дает пользователю ETL возможность выбора СУБД для использования в качестве хранилища данных.
6. Расчетные модули. Разработана версия-1 модуля KPI.
Для расчета аналитических показателей разной степени сложности разработан модуль настройки правил и порядка расчета. Модуль позволяет в качестве исходных данных использовать первичные данные, полученных из источников, а также ранее рассчитанные показатели.
Модуль может быть использован для расчета показателей из разных предметных областей.
Интерфейс настройки показателей позволяет создавать сценарии расчета без навыков программирования. Готовые сценарии можно включить в процесс обработки данных.
7. Трансформация данных в схему “Звезда”. Модели данных.
Отображение связей в ER-диаграммах моделей адаптировано для СУБД PostgreSQL.
В функциональность генерации сценариев трансформации в схему "Звезда" добавлено создание сценариев удаления моделей.
Добавлена возможность мэппинга полей при повторном использовании справочников в режиме "С созданием новых записей".
8. Разграничение доступа.
Доработано ограничение по проектам в части баз данных.
Исправлена ошибка профилей пользователей в части доступных ролей.
Добавлены права на запуск обработки [Контроль работы] для Роли "Аналитик".