Modus выпускает Modus ETL 1.6.14: равномерное распределение нагрузки при сборе данных и системная доработка сценариев и пресетов
Компания Modus объявляет о выходе Modus ETL 1.6.14. Релиз направлен на повышение стабильности и предсказуемости платформы: ключевые изменения касаются распределения нагрузки при сборе данных из 1С-источников, оптимизации работы с большими файлами и устранения накопленных ошибок в механизме пресетов и сценариев обработки данных.
Балансировка очереди для 1С:ФРЕШ
Одним из наиболее востребованных сценариев использования Modus ETL является сбор данных из 1С-систем, работающих в режиме разделения данных — «1С:Предприятие. Облачная подсистема Фреш» (1С:ФРЕШ). В версии 1.6.14 реализовано равномерное распределение очереди сбора данных по областям между базами данных. Изменение особенно актуально для крупных внедрений с большим количеством областей: исключаются перекосы нагрузки, а поведение системы становится более предсказуемым и управляемым.
Оптимизация работы с данными
В релизе оптимизирована обработка больших JSON-файлов — одного из распространенных форматов при интеграции с внешними системами и API. Снижено потребление памяти и повышена скорость обработки при работе с файлами значительного объема.
Для 1С-источников реализовано автоматическое преобразование колонок с типом «Описание Типов» в строковый тип. Ранее это требовало ручной настройки на уровне сценария; теперь преобразование выполняется автоматически, что сокращает время на конфигурирование и снижает риск ошибок при загрузке.
Сценарии обработки данных и пресеты ETL
Релиз закрывает два крупных блока ошибок. В сценариях обработки данных исправлен ряд проблем в шаге «Произвольная выборка»: некорректное сохранение настроек соединения без оператора сравнения, самопроизвольное включение флажка «Показать типы полей», ошибки установки лимита и передачи типов. Восстановлена корректная работа FULL JOIN и шага «Очистка таблицы», исправлены ошибки определения типов Int в ClickHouse и обработки данных из XLSX и CSV.
В части пресетов ETL закрыто десять ошибок, затрагивающих перенос сценариев между средами: некорректный перенос удалённых связей, сброс привязки к таблице, ошибки в специфических шагах и плавающая ошибка «Не найден объект» при повторных загрузках. Оптимизирована проверка пресетов — анализ теперь выполняется по манифесту без полной распаковки файла, что снижает пиковую нагрузку на память.
«ETL — это фундамент, на котором строится вся аналитика. Когда данные собираются с задержками, распределяются неравномерно или сценарии переносятся с ошибками, это напрямую сказывается на качестве отчетов и доверии к данным в целом. В версии 1.6.14 мы сфокусировались именно на этом фундаменте. Равномерная балансировка очереди для 1С:ФРЕШ — это решение, которое давно ждали компании с распределенными 1С-инфраструктурами. Масштабная доработка пресетов и сценариев закрывает класс проблем, с которыми сталкивались команды при тиражировании настроек между средами и построении сложных цепочек обработки. Стабильная платформа — это необходимое условие для того, чтобы аналитика работала как инструмент принятия решений, а не источник дополнительных вопросов», — отметил Александр Чебанов, технический директор Modus.
Новая версия Modus ETL 1.6.14 уже доступна для развертывания и обновления.
