Netapp Становится Еще Более Эффективным Благодаря Встроенной Дедупликации

Несколько дней назад стала доступна версия Data ONTAP 8.3.2RC1. «RC» означает Release Candidate, и, следовательно, в соответствии с правилами наименования версий NetApp, этот релиз уже прошел все внутренние тесты и может использоваться заказчиками не только для оценки новых функций, но и для продукта, включая системы на которые выполняет бизнес – критически важные задачи.

Поддержка поставщиков полностью распространяется на системы, на которых работают «RC»-версии Data ONTAP. Продавцы NetApp (да, это тоже мы ;) не устают напоминать (и делают это совершенно правильно), что высокая загрузка дисковых ресурсов в системах NetApp достигается за счет использования инструментов оптимизации программного обеспечения — дедупликации и сжатия.



NetApp становится еще более эффективным благодаря встроенной дедупликации

Информация ниже представляет собой краткий обзор возможностей NetApp Data ONTAP 8.3.2RC1, который будет полезен тем, кто еще не в курсе.

Дедупликация доступна клиентам уже очень давно и с момента ее появления работала исключительно в «оффлайн» режиме — процесс запускается по расписанию, который ищет повторяющиеся блоки данных и оставляет на сервере только один из них.

диск.

Система сравнивает не только хеш-суммы блоков, но и сами данные, что гарантирует отсутствие хеш-коллизий.

Это позволяет избежать проблем с производительностью — включение дедупликации не приведет к каким-либо изменениям нагрузки на процессор/память СХД.

Однако для ряда задач такой механизм дедупликации не является оптимальным.

Представьте, что у вас есть ферма из множества виртуальных рабочих столов (VDI) и вам необходимо обновить программное обеспечение на всех рабочих столах или установить патч для ОС.

В это время на диски будет записано множество одинаковых блоков данных.

Да, конечно, тогда произойдет процесс дедупликации и освободится «лишнее» место на диске, но само обновление приведет к огромному количеству операций записи.

Это означает, что мы получим перегруженный бэкенд и как следствие это может отразиться на работе других сервисов, работающих с данной СХД.

С появлением cDOT 8.3.2 у владельцев систем хранения данных NetApp появилось решение — встроенная дедупликация (дедупликация «на лету»).

Для всех систем хранения Flash встроенная поддержка дедупликации включена по умолчанию для всех вновь создаваемых томов, а также может быть включена для существующих томов данных (без повторного создания тома).

Для систем хранения, использующих Flash Pool, онлайн-дедупликация работает только для записи на твердотельные накопители, а также может быть включена как на новых, так и на уже созданных томах.

Для систем, построенных на обычных дисках, новый режим необходимо включить принудительно.

Управлять работой встроенной дедупликации можно командой эффективность тома с помощью опции -inline-deduplication (true/false): изменить эффективность тома -vserver SVM_test -volume /vol/volume-001 -inline-deduplication true Ниже приведена таблица поддерживаемых режимов оптимизации для AFF и других систем NetApp FAS:

NetApp становится еще более эффективным благодаря встроенной дедупликации

Dtata ONTAP выделяет примерно 1% от общего объёма оперативной памяти для хранения хэшей записываемых блоков.

Для поддержания высокой производительности разработчикам пришлось отказаться от глобальной дедупликации — для ее реализации потребовалось бы слишком много памяти и ресурсов процессора.

В памяти сохраняется только хеш недавно записанных блоков — при перезагрузке хранилище очищается и статистика накапливается заново.

Еще одна важная особенность — томная миграция (Data Motion) приведет к тому, что все преимущества дедупликации исчезнут, пока не заработает постобработка.

Это необходимо учитывать при планировании миграции дедуплицированных данных внутри системы.

Для повышения эффективности встроенного дедупликации его можно использовать совместно с «классической» схемой постобработки.

Для хранилища All Flash постобработка изначально отключена (чтобы минимизировать общее количество операций записи), поэтому вам придется включить ее принудительно.

Использование встроенной дедупликации не заменяет других возможностей повышения эффективности хранения данных в системах хранения данных NetApp. При одновременном включении онлайн-сжатия и дедупликации порядок работы будет следующий:

  • встроенное дублирование нулевых блоков - исключаются пустые (заполненные нулями) блоки
  • встроенное сжатие — данные сжимаются
  • встроенная дедупликация — сжатые блоки проверяются на идентичные хэши; если хеши совпадают, то они сравниваются целиком, если хэши совпадают и дублирующиеся блоки исключаются из записи на диски
Отказавшись от глобальной дедупликации, разработчикам Data ONTAP удалось реализовать довольно интересный механизм оптимизации операций записи, который хорошо работает для ряда типов рабочей нагрузки и оказывает минимальное влияние на производительность системы.

А за счет снижения нагрузки на бэкенд в ряде случаев можно говорить об увеличении интегральной производительности системы.

Любой владелец системы NetApp (поддерживающей cDOT 8.3) может проверить эффективность встроенной дедупликации, обновившись до версии 8.3.2RC1. Конечно, желательно проводить эксперименты на тест-системах или в рамках пилотов — перенастраивать работающий продукт до Нового года мы никому не посоветуем :) В нашей работе нам приходилось сталкиваться с самыми разными ситуациями, вплоть до того, что во время работы дедупликации постобработки производительности системы уже не хватало для основной нагрузки.

Все это можно и нужно оценить еще на этапе разработки проекта, учитывая необходимый запас мощности при выборе системы хранения данных.

Специалисты Trinity обладают обширными знаниями и большим опытом проведения предпроектных исследований и определения размеров систем хранения для удовлетворения самых разнообразных требований клиентов.

Больше отзывов читайте на Блог Тринити .

А также воспользоваться разработками Trinity:

Теги: #Trinity #netapp #дедупликация #dedupe #inline dedupe #Data Ontap #Высокая производительность
Вместе с данным постом часто просматривают: