Modus ETL 1.6.13.6: Нативный перенос данных в 1С, тонкая настройка агентов и общесистемные улучшения
Нативный перенос данных в 1С
Теперь базы 1С можно полноценно использовать как корпоративное хранилище данных (DWH). Реализован специальный объект конфигурации «Перенос данных в 1С из DWH», позволяющий направлять обработанные и очищенные данные напрямую в информационные базы 1С. Это открывает новые сценарии для консолидации данных, репликации справочников и построения отчетности непосредственно в экосистеме 1С.Улучшения в управлении заданиями и ресурсами
Тонкая настройка агентов ETL: Ограничение максимального количества параллельных заданий для агентов теперь работает не только для выгрузок, но и для шагов сценариев. Это позволяет предотвратить перегрузку серверов и более гибко распределять вычислительную мощность между критически важными и фоновыми процессами.
Доработки в модуле сбора данных
· Рабочая область «Параметры» в «Консоли запросов»: При создании новых правил выгрузки в консоли запросов система теперь автоматически сохраняет значения в параметры (функциональные возможности «Мастер сбора данных» и «Установка правил выгрузки»). Для вычисляемых параметров результат выражения рассчитывается автоматически в момент выполнения запроса. Это ускоряет настройку сложных выгрузок и снижает вероятность ошибок.· Исправление критичных ошибок системы компоновки данных (СКД):
- устранили проблемы, мешавшие корректной работе с ссылочными полями и полями типа «Автополе» при получении данных через СКД. Ваши отчеты из 1С теперь выгружаются точно и предсказуемо.
- Обеспечена возможность перезаписи существующей таблицы в DWH через мастер «Загрузка файла в БД». Теперь система корректно обрабатывает ситуацию, когда таблица помечена как новая, но уже существует в базе данных.
Надежность и ясность в работе со сценариями
· Корректная остановка длительных операций: Доработаны механизмы остановки сценариев, содержащих шаги «Перенос данных» и новый «Перенос данных в 1С». Теперь такие ресурсоемкие операции можно безопасно прерывать.· Исправление для ClickHouse и улучшение интерфейса: Устранена ошибка выбора схемы при очистке таблиц в ClickHouse.
· Доработана возможность выбора типа связи таблиц, шаблон «Произвольная выборка» в диалоговом окне «Соединения».
· Исправлено отображение многострочного названия шага сценария в поле «Наименование», что делает работу со сложными сценариями визуально понятнее.
Улучшения пользовательского интерфейса и администрирования
· Безопасность: В раздел «Главное/Информация» добавлена личная настройка пользователя — возможность сменить собственный пароль. Это повышает безопасность и дает больше контроля конечным пользователям.· Управление конфигурацией: Пресеты ETL теперь корректно работают с новыми объектами: «Загрузка модулей Python» и «Перенос данных в 1С из DWH». Это обеспечивает целостность и переносимость ваших конфигураций между проектами.
· Исправлены интерфейсные ошибки, включая некорректное отображение иконки меню «Администрирование» и отображение полного списка расписаний при нажатии кнопки «Все».
Обновление Агента ETL (v.1.36.15): выше скорость, надежнее передача
Параллельно с обновлением ядра платформы мы выпустили новую версию Агента ETL, которая приносит значительные улучшения в производительность и обработку данных.· Оптимизация производительности: Кардинально улучшен протокол обмена данными между Python-модулями сбора и агентом. Данные теперь передаются и записываются в DWH небольшими пачками, что существенно повышает эффективность и скорость загрузки больших объемов.
· Умное преобразование типов: Реализована автоматическая трансформация данных c Булевым типом в числовой формат (1/0) при вставке в целевые колонки соответствующего типа. Это избавляет от необходимости дополнительных преобразований в сценариях.
· Критические исправления: Устранены ошибки, которые в отдельных случаях могли препятствовать загрузке файлов с датой и временем в ClickHouse, а также сбору данных из файлов с использованием Python.