©
P-Reliz.ru - агрегатор пресс-релизов

IT_ONE разработала ETL-продукт для наполнения хранилищ данных – OneData

Компания IT_ONE (ООО «ИТ1-Технологии») разработала ETL-продукт по перемещению и интеграции данных в хранилищах – OneData. Новый фреймворк поддерживает большинство популярных типов источников и приемников данных, высокую скорость развертывания и отличается простотой настройки. 
 
Деятельность коммерческих компаний связана с генерацией огромных массивов данных. Для их размещения и обработки используются озера данных (Data Lake), сложные распределенные хранилища, аналитические системы и другие технологии. При этом важным процессом является регулярная актуализация и пополнение этих данных из внешних систем-источников, разнородных по типу взаимодействия с ними и по типу передаваемых данных. 
 
OneData оптимизирует деятельность ИТ-команд компаний-заказчиков, занимающихся наполнением хранилищ данных. Продукт – альтернатива популярным западным проприетарным продуктам, многие из которых сегодня недоступны в России, а также продуктам на основе открытого ПО, которые могут не подходить заказчику по функциональности. 
 
OneData состоит из четырех основных структурных компонентов: web-интерфейса конфигурирования, базы данных конфигураций потоков перемещения данных, сервиса обработки данных на базе Spark и оркестратора потоков на базе Apache Airflow. Решение поддерживает наиболее популярные в России источники и приемники данных. Например, оно работает с JDBC-источниками и брокером сообщений Apache Kafka, а в качестве приемников могут выступать файловые хранилища (HDFS, S3, FTP), JDBC, таблица Hive.
 
Работа в OneData происходит следующим образом. Администратор формирует конфигурацию потока перемещения данных, которая сохраняется в БД, и расписание запуска потока. В том же конфигурационном файле можно указать дополнительные настройки: например, количество ресурсов, которое будет запрашивать spark-процесс, преобразования типов полей и т. д. Параллельно происходит формирование DAG-файла и импорт его в Airflow для постановки потока на расписание. По расписанию происходит вызов Spark-процесса, который в соответствии с заданной конфигурацией осуществляет перемещение данных из источника в приемник. Использование Spark обеспечивает высокую скорость перемещения: эффективное распараллеливание, получение и запись данных.
 
Кроме того, при сохранении в файловую систему фреймворк поддерживает самые разные форматы файлов: orc, parquet, csv, json, deltalake. Чтение из Kafka может сопровождаться валидацией входящих json-сообщений по указанной json-схеме. Сообщения, не прошедшие валидацию фреймворк может бережно сложить в указанный DLQ-топик (Dead Letter Queue topic). Эти опции еще более расширяют функциональность продукта. 
 
К числу преимуществ нового решения относится его оперативное развертывание. Основной Spark-процесс можно запустить даже локально, но для использования всех преимуществ рекомендуется Hadoop-кластер с YARN или Kubernetes-кластер. Конфигурация процессов перемещения данных может храниться в json-файлах или в любой доступной БД PostgreSQL. Оркестрация потоков осуществляется с помощью Airflow, который можно развернуть рядом или использовать уже имеющийся.
OneData прост в настройке, ее может осуществить даже специалист без навыков программиста или DevOps. 
 
В соответствии с «дорожной картой» развития OneData, компания IT_ONE планирует дополнить продукт такими функциями, как маскирование данных, перенос изменений в метаданных, поддержка новых типов источников и приемников, автоматическая проверка консистентности перемещенных данных. Также готовится ряд технологических доработок, которые должны облегчить эксплуатацию фреймворка: это фиксация метрик работы потоков перемещения данных, интеграция с системами мониторинга и т. д.
 
«Имея богатый опыт внедрения хранилищ и озер данных, в сложившейся на рынке ситуации мы почувствовали необходимость разработки собственного фреймворка перемещения данных. OneData способен радикально сокращать время и трудозатраты в таких задачах, как, например, наполнение Stage/ODS слоев, подключение новых источников данных к хранилищам или наполнение пользовательских песочниц. С каждым спринтом OneData становится всё более быстрым, удобным и совершенным», – комментирует ведущий менеджер проектов IT_ONE Александр Самойлов.
 
 

IT_ONE (https://www.it-one.ru) — компания по разработке программного обеспечения для крупных игроков российского бизнеса и созданию собственных технологических решений и инноваций.

P-Reliz.ru - аггрегатор пресс-релизов

Другие пресс-релизы ООО "Информационно-аналитический центр"


В Hybrid Console появилось разделение учета конверсий

Компания Hybrid, специализирующаяся на высокотехнологичных разработках в области Интернет-рекламы, добавила на свою платформу для запуска программатик-рекламы возможность раздельного учета конверсий. Новая функция позволит более глубоко анализировать данные рекламной кампании, а также видеть, какие события в ней происходят.


Merlion и DaтaРу заключили соглашение о дистрибуции базового ИТ-оборудования

Компания Merlion пополнила свой продуктовый портфель базовой ИТ-инфраструктуры, став дистрибьютором серверного и сетевого оборудования российской компании DатаРу. Отечественный вендор технологических решений и сервисов производит линейки серверов, сетевого оборудования, а также СХД под разные типы задач и потребности пользователей – от развития ИИ-сервисов и надежной работы бизнес-приложений до поддержки IoT-технологий.


Обновление Winlogon в RooX UIDM: адаптивная многофакторная аутентификация и брендирование

В системе управления доступом RooX UIDM появилась возможность кастомизировать сценарий входа в Windows. Теперь в него можно добавлять факторы аутентификации и дополнительные проверки.


Открыт приём заявок на ежегодный конкурс «Проект Года» сообщества лидеров цифровой трансформации Global CIO

16 сентября открылся приём заявок на конкурс «Проект года», в котором ИТ-директора и топ-менеджеры компаний представляют лучшие ИТ-кейсы из собственной практики. Мероприятие проводится ежегодно по инициативе профессионального сообщества лидеров цифровой трансформации Global CIO. За это время в нём приняли участие более 2500 ИТ-руководителей, опыт которых непрерывно способствует развитию всей индустрии информационных технологий.


HRlink подключил второй удостоверяющий центр

HRlink первым на рынке кадрового ЭДО подключил второй удостоверяющий центр для выпуска и использования электронных подписей. Возможность перераспределять нагрузку внутри платформы сделает ее более катастрофоустойчивой, а также снизит зависимость от возможных задержек в системах компаний-партнеров или массовых сбоев.


Axenix открыла лабораторию искусственного интеллекта в Твери

Компания Axenix открыла лабораторию по исследованию и разработке систем искусственного интеллекта на площадке Тверского государственного технического университета (ТвГТУ). Лаборатория будет принимать участие в образовательном процессе университета и в фундаментальных научных исследованиях.


«Ростелеком контакт-центр» снизил затраты на КДП на 5,5 млн рублей за счет внедрения HRlink

Дочерняя компания ПАО «Ростелеком» – «Ростелеком контакт-центр» – перевели кадровое делопроизводство в электронный формат с помощью сервиса HRlink. За счет автоматизации HR-процессов колл-центр федеральной телеком-компании смог добиться экономии средств, а также обеспечил максимально комфортные условия для сотрудников и кадровых специалистов.