Modus ETL 1.6.14: равномерная очередь сбора данных, оптимизация JSON и работа над пресетами

Мы выпустили обновление Modus ETL «Модус: Управление корпоративным хранилищем данных»1.6.14 — это релиз с акцентом на надежность и предсказуемость работы системы. Равномерное распределение нагрузки при сборе данных, улучшенная работа с большими файлами и закрытие более двадцати ошибок — в том числе системная доработка механизма пресетов и сценариев обработки данных. Основные изменения и нововведения:

Равномерное распределение очереди сбора данных

Ключевое изменение релиза касается компаний, работающих с 1С в режиме разделения данных — «1С:Предприятие. Облачная подсистема Фреш» (1С:ФРЕШ). Ранее очередь сбора данных по областям могла распределяться неравномерно, создавая перекосы нагрузки между базами данных. Теперь сбор данных распределяется равномерно между всеми базами, что обеспечивает более стабильную и предсказуемую работу системы при большом количестве областей.

Оптимизация работы с JSON и доработка типов 1С

Оптимизирована обработка больших JSON-файлов: операции, которые ранее могли вызывать избыточное потребление памяти или замедление, теперь выполняются эффективнее.

Для источников данных на базе 1С добавлено автоматическое преобразование колонок с типом «Описание Типов» в строковый тип при получении данных. Это устраняет необходимость ручных преобразований в сценариях и снижает вероятность ошибок при загрузке данных из информационных баз.

Сценарии обработки данных

Закрыт блок ошибок в шаге «Произвольная выборка»: исправлена возможность сохранить настройки соединения таблиц без оператора сравнения, устранено самопроизвольное включение флажка «Показать типы полей» после редактирования выражения, исправлена ошибка установки лимита и передачи информации о типах. Также восстановлена корректная работа FULL JOIN, шага «Очистка таблицы» и сброса шаблона создания временной таблицы. Отдельно исправлены ошибки определения типов Int в ClickHouse и заполнения служебных полей при загрузке из XLSX и CSV.

Пресеты ETL

Механизм переноса сценариев через пресеты получил масштабное обновление: закрыто десять ошибок, затрагивающих различные аспекты работы с пресетами. Среди ключевых — некорректный перенос удаленных связей как действующих, сброс привязки к таблице у шага «Источник» после переноса, ошибки в шагах «Очистка» и «Маппинг 2х таблиц с предварительным удалением», плавающая ошибка «Не найден объект» при повторных загрузках. Дополнительно оптимизирована проверка пресетов: анализ теперь выполняется на основе манифеста без полной распаковки файла данных, что снижает пиковую нагрузку на память.

Прочие изменения

Исправлена сортировка в списке логов выполнения пакетов — теперь она работает в обоих направлениях, как и в других журналах ETL. Выполнено обновление БСП до версии 3.1.11.466.

Новая версия Modus ETL 1.6.14 уже доступна для развертывания и обновления.  Полный список изменений — в технической документации в нашей Базе знаний.