©
P-Reliz.ru - агрегатор пресс-релизов

IT_ONE разработала ETL-продукт для наполнения хранилищ данных – OneData

Компания IT_ONE (ООО «ИТ1-Технологии») разработала ETL-продукт по перемещению и интеграции данных в хранилищах – OneData. Новый фреймворк поддерживает большинство популярных типов источников и приемников данных, высокую скорость развертывания и отличается простотой настройки. 
 
Деятельность коммерческих компаний связана с генерацией огромных массивов данных. Для их размещения и обработки используются озера данных (Data Lake), сложные распределенные хранилища, аналитические системы и другие технологии. При этом важным процессом является регулярная актуализация и пополнение этих данных из внешних систем-источников, разнородных по типу взаимодействия с ними и по типу передаваемых данных. 
 
OneData оптимизирует деятельность ИТ-команд компаний-заказчиков, занимающихся наполнением хранилищ данных. Продукт – альтернатива популярным западным проприетарным продуктам, многие из которых сегодня недоступны в России, а также продуктам на основе открытого ПО, которые могут не подходить заказчику по функциональности. 
 
OneData состоит из четырех основных структурных компонентов: web-интерфейса конфигурирования, базы данных конфигураций потоков перемещения данных, сервиса обработки данных на базе Spark и оркестратора потоков на базе Apache Airflow. Решение поддерживает наиболее популярные в России источники и приемники данных. Например, оно работает с JDBC-источниками и брокером сообщений Apache Kafka, а в качестве приемников могут выступать файловые хранилища (HDFS, S3, FTP), JDBC, таблица Hive.
 
Работа в OneData происходит следующим образом. Администратор формирует конфигурацию потока перемещения данных, которая сохраняется в БД, и расписание запуска потока. В том же конфигурационном файле можно указать дополнительные настройки: например, количество ресурсов, которое будет запрашивать spark-процесс, преобразования типов полей и т. д. Параллельно происходит формирование DAG-файла и импорт его в Airflow для постановки потока на расписание. По расписанию происходит вызов Spark-процесса, который в соответствии с заданной конфигурацией осуществляет перемещение данных из источника в приемник. Использование Spark обеспечивает высокую скорость перемещения: эффективное распараллеливание, получение и запись данных.
 
Кроме того, при сохранении в файловую систему фреймворк поддерживает самые разные форматы файлов: orc, parquet, csv, json, deltalake. Чтение из Kafka может сопровождаться валидацией входящих json-сообщений по указанной json-схеме. Сообщения, не прошедшие валидацию фреймворк может бережно сложить в указанный DLQ-топик (Dead Letter Queue topic). Эти опции еще более расширяют функциональность продукта. 
 
К числу преимуществ нового решения относится его оперативное развертывание. Основной Spark-процесс можно запустить даже локально, но для использования всех преимуществ рекомендуется Hadoop-кластер с YARN или Kubernetes-кластер. Конфигурация процессов перемещения данных может храниться в json-файлах или в любой доступной БД PostgreSQL. Оркестрация потоков осуществляется с помощью Airflow, который можно развернуть рядом или использовать уже имеющийся.
OneData прост в настройке, ее может осуществить даже специалист без навыков программиста или DevOps. 
 
В соответствии с «дорожной картой» развития OneData, компания IT_ONE планирует дополнить продукт такими функциями, как маскирование данных, перенос изменений в метаданных, поддержка новых типов источников и приемников, автоматическая проверка консистентности перемещенных данных. Также готовится ряд технологических доработок, которые должны облегчить эксплуатацию фреймворка: это фиксация метрик работы потоков перемещения данных, интеграция с системами мониторинга и т. д.
 
«Имея богатый опыт внедрения хранилищ и озер данных, в сложившейся на рынке ситуации мы почувствовали необходимость разработки собственного фреймворка перемещения данных. OneData способен радикально сокращать время и трудозатраты в таких задачах, как, например, наполнение Stage/ODS слоев, подключение новых источников данных к хранилищам или наполнение пользовательских песочниц. С каждым спринтом OneData становится всё более быстрым, удобным и совершенным», – комментирует ведущий менеджер проектов IT_ONE Александр Самойлов.
 
 

IT_ONE (https://www.it-one.ru) — компания по разработке программного обеспечения для крупных игроков российского бизнеса и созданию собственных технологических решений и инноваций.

P-Reliz.ru - аггрегатор пресс-релизов

Другие пресс-релизы ООО "Информационно-аналитический центр"


На платформе iSpring появились пульс-опросы для сбора обратной связи от сотрудников

На платформе онлайн-обучения iSpring Learn запущена система сбора обратной связи «Пульс-опросы iSpring». Новый инструмент позволит собственникам бизнеса, руководителям и HR-специалистам выявлять скрытые проблемы и оперативно на них реагировать, предотвращать выгорание сотрудников и текучесть команды, отслеживать настроения в команде и улучшать условия работы.


Структуры Минздрава перешли на офисный пакет AlterOffice

Часть подразделений Минздрава РФ внедрила российский офисный пакет AlterOffice. Программный продукт ALMI Partner, российского производителя общесистемного и прикладного ПО, поможет повысить производительность работы сотрудников за счет удобного и интуитивно понятного интерфейса и широкого функционала.


DатаРу обновила модельный ряд СХД для искусственного интеллекта

Российский вендор технологических решений и сервисов DатаРу расширил продуктовый портфель базового оборудования для искусственного интеллекта и начал производство новых моделей СХД «ДатаРу ИСФ». В модельный ряд вошли три системы с высокой производительностью – ИСФ 910, 710 и 210 – под разный спектр требований и задач.


Институт iSpring получил государственную аккредитацию образовательной программы

Первой аккредитованной государством специальностью в Институте iSpring стала «Программная инженерия». На ней готовят инженеров-программистов с лидерским потенциалом, которые смогут создавать собственные успешные ИТ-продукты.


RooX UIDM внедряет функцию создания порталов приложений

В системе управления доступом RooX UIDM появилась функция создания порталов приложений, объединяющих доступ к множеству систем и сервисов в едином интерфейсе. Политики доступа к приложениям можно строить на основе как ролевой (RBAC), так и атрибутной (ABAC) модели.


MONT расширил портфель ИБ-продуктов и предложит партнерам линейку решений SafenSoft

Группа компаний MONT заключила соглашение о дистрибуции с российским вендором решений для кибербезопасности SafenSoft. В линейку разработчика входят передовые программные решения в сфере информационной безопасности ПО, ориентированные на банковский сектор и входящие в реестр Минцифры РФ.


CorpSoft24 – в топ-5 провайдеров IaaS по стоимости услуг

По результатам исследования ИТ-маркетплейса Market.CNews, компания CorpSoft24 занимает четвертую позицию среди российских облачных провайдеров по стоимости аренды инфраструктуры IaaS. «Рейтинг провайдеров IaaS по уровню цен» от Market.CNews сформирован из расчета стоимости аренды определенной конфигурации сервера: 8 vCPU + 32 Gb RAM + 5 000 Gb SATA + 2 000 Gb SSD.