AERODISK: дедупликация с адаптивным блоком в высоконагруженных СХД.
Краткий обзор особенностей патентованной програмной российской разработки для адаптивной дедупликации данных.
AERODISK инновационная компания в области информационных технологий.
В 2016 году в мире было создано 4 зетабайт данных. Принимая во внимание мнение аналитиков, к 2020 году объем данных возрастет до 50 ЗБ, а к 2025 году – 180. Данные генерируют сегодня уже и машины, а классические методы анализа вытесняются технологиями искусственного интеллекта. Следовательно, спрос на системы хранения данных растет неизбежно.
Из-за роста объема данных на первый план выходят различные алгоритмы оптимизации объема хранения данных. Один из эффективных механизмов оптимизации – дедупликация. Дедупликация – устранение повторяемых блоков данных при сохранении уникальных (Адаптивная дедупликация 0).
Многие производители СХД уже используют встроенные алгоритмы дедупликации, но эффективность зачастую бывает недостаточной из-за статичного блока дедупликации (Адаптивная дедупликация 1).
Российский разработчик СХД – компания AERODISK- разработала и запатентовала алгоритм адаптивной дедупликации, при котором размер блока подстраивается под реальные границы данных, а не фиксируется, как при использовании общепринятой дедупликации со статичным блоком.
Дедупликация с адаптивным блоком не использует статичный блок для входных данных, а делит данные с учетом их естественных границ. Размер блока дедупликации устанавливается в реальном времени исходя из границ разделения данных. Сравниваются блоки данных, повторяемые блоки не записываются.
Для наглядности рассмотрим лозунг с пропущенным восклицательным знаком. Мир Труд! Май! (Адаптивная дедупликация 2). Занято 14 символов, как при дедупликации с фиксированным блоком, так и при адаптивной дедупликации. После добавления восклицательного знака в случае адаптации со статичным блоком записалось 14 старых символов +1 новый, т.е. 14+14+1=29. Дедупликация не сработала при фиксированном блоке по 4 символа, все данные приняты за уникальные (Адаптивная дедупликация 3). При использовании дедупликации с адаптивным блоком анализ происходил только по фактическим границам, обнаружено, что изменились всего 2 символа (восклицательный знак и пробел). Механизм адаптивной дедупликации позволил записать всего 2 новых символа, вместо 15, итого 14+2=16 символов. Даже при таком простом примере наблюдается потенциал и эффективность алгоритма адаптивной дедупликации (Адаптивная дедупликация 4).
Разработка компании AERODISK позволяет за счет использования распараллеливания потоков ввода-вывода оптимизировать алгоритмы адаптивной дедупликации, и как результат, снижение в несколько раз нагрузку на процессоры и оперативную память СХД.
СХД AERODISK ENGINE – флагманский продукт компании AERODISK – первая российская Hi-END СХД, достойно конкурирует с западными аналогами по показателям производительности и отказоустойчивости, с поддержкой адаптивной дедупликаци для ИТ-инфраструктуры любого масштаба и сложности.
О компании AERODISK
AERODISK - российский производитель инновационных решений в области хранения данных и виртуализации.
Разработка систем хранения AERODISK началась в 2011 году. Сегодня у компании AERODISK есть сервис-центры во всех регионах России, а также в Казахстане и Белоруссии (44 сервис- центра)
ПО AERODISK в реестре Минкомсвязи https://reestr.minsvyaz.ru/reestr/121021/
Сергей А. Семенихин. Системный архитектор. 8 916 673 17 08. 8 495 725 98 46. www.aerodisk.ru
