Не так давно в рамках тестирования линейки продуктов EMC мне довелось поработать с их решением EMC Avamar Virtual Edition. Этим опытом я хочу поделиться с вами в этой публикации.
История проблемы
Пообщавшись с коллегами из различных компаний, я пришел к выводу, что многие пренебрегают резервным копированием рабочих станций сотрудников компаний, ограничиваясь лишь копированием производственных приложений.С одной стороны, это понятно – даже для «боевых» служб еще не так много устоявшихся практик, «пошедших в массы».
Поэтому обеспечение хороших показателей RTO и RPO для критически важных сервисов — одна из основных головных болей ИТ-подразделений как крупных, так и средних компаний.
Уделять время такой мелочи, как резервное копирование пользовательских машин – непозволительная роскошь.
Однако на практике это означает, что поломка рабочей станции приводит либо к переносу жестких дисков со старого устройства на новое (с последующими сложностями инвентаризации и учета), либо к полной потере пользовательских данных.
Конечно, уже давно считается хорошим тоном хранить важные данные на NAS-серверах и/или корпоративных файлообменниках.
В этом случае вся важная информация сохраняется, но временные/некритичные данные теряются.
Плюс ко всему, после замены оборудования пользователю придется заново персонализировать свое рабочее место, что не добавит ему хорошего настроения.
Возможно, в масштабах бизнеса это не имеет большого значения, но на практике это приводит к задержкам в работе, увеличивает время простоя в случае сбоя и просто усиливает напряженность между ИТ-отделом и внутренними заказчиками.
И последнее является важным фактором, на который несправедливо не обращают внимания многие руководители ИТ-подразделений.
Решения
Эту проблему можно решить несколькими способами: 1. Оставьте все как есть; 2. Виртуализировать рабочие места сотрудников; 3. Внедрить службы резервного копирования рабочих мест. Конечно, 2-й сценарий дает максимальные выгоды, которые уже не раз описаны и доказаны в различных источниках.Однако такое решение довольно дорогое в реализации.
А переход от «классической» схемы организации рабочих мест к виртуализированной связан с большим количеством сложностей как технического, так и эксплуатационного характера.
С другой стороны, средства централизованного резервного копирования проще внедрить, не требуют радикальной реструктуризации инфраструктуры и часто более доступны по цене.
Что EMC может нам предложить?
За последнее время в EMC произошли существенные структурные изменения, результатом которых, среди прочего, стало создание (читай «слияние») нового отдела DPAD — Data Protection and Availability Division. Как следует из названия, в этот отдел входят решения по организации защиты и доступности данных.На данный момент нас интересуют решения в области безопасности.
Итак, на данный момент EMC DPAD может предложить нам 3 решения для резервного копирования данных: Data Domain, NetWorker, Avamar. В этой статье я сосредоточусь на описании решения EMC Avamar. Однако несколько слов о каждом продукте все же стоит сказать.
Сетевой работник
Программное обеспечение для централизованного резервного копирования и восстановления данных.Имеет широкий функционал по автоматизации, централизованному управлению и мониторингу.
И в целом оптимизирован для работы с большими и сложными инфраструктурами.
Домен данных
Аппаратное решение для хранения резервных копий, работает через CIFS, NFS, Boost, VTL (Virtual Tape Library).Без встроенных возможностей резервного копирования для Data Domain требуется отдельное программное обеспечение для резервного копирования, такое как NetWorker. Сейчас эта технология набирает популярность.
Способствовать росту — расширенный интерфейс для транспортировки дедуплицированных данных и управления системами Data Domain.
Авамар
Аппаратно-программное решение, предназначенное для создания и хранения резервных копий рабочих станций и средне/низконагруженных сервисов и приложений.
Как это работает?
Avamar работает по классической схеме сервер-клиент. На защищаемые машины устанавливаются клиентские приложения, которые осуществляют сбор, дедупликацию (устранение дублирующихся данных) и передачу данных.Поэтому копирование всегда инкрементальное - т.е.
сначала система делает полную копию данных, а потом только изменяющиеся блоки.
Это может существенно снизить нагрузку на канал и затраты на емкость хранилища.
Чтобы не потеряться при инкрементальном резервном копировании, Avamar поддерживает синтетические полные резервные копии.
И ключевым принципом работы Avamar является именно его алгоритм дедупликации.
Если в двух словах, то эта технология позволяет исключить ненужную передачу данных не только с конкретного компьютера, но и со всех источников, для которых уже выполнено резервное копирование.
Ниже приведено несколько более подробное описание алгоритма дедупликации, используемого Avamar. В Avamar дедупликация происходит на клиенте, так сказать, «у источника» данных.
В качестве примера рассмотрим задачу по резервному копированию совершенно нового файла, который еще никем не резервировался: 1) Пришло задание на резервное копирование; 2) Клиент Avamar запускает процесс avtar.exe, который занимается дальнейшим процессом дедупликации, причем сначала вся обработка будет происходить на уровне файлов; 3) С помощью алгоритма SHA-1 вычисляется 160-битное хеш-значение метаданных файла; 4) Автар ищет получившийся хеш в своей базе «хэшей файлов» — F_cache.dat. Он находится на клиенте, например в C:\Program Files\avs\var, и при резервном копировании F_cache.dat полностью выгружается в оперативную память; 5) Так как файл у нас новый, то его хэш не будет найден в F_cache.dat на клиенте, и тогда поиск будет производиться на стороне сервера Авамар в том же F_cache.dat, но там уже собрана хэш-база данных из всех предыдущих резервных копий всех рабочих станций; 6) Но хэш-значения там тоже нет. Затем процесс автара переходит на уровень блоков и мы уже говорим о резервном копировании блоков данных; 7) Данные разбиваются на сегменты разной длины от 1 Б до 64 Кб, в среднем 25 Кб; 8) После этого сегменты сжимаются на 30 – 50%, а если сегмент не сжимается более чем на 25%, то дальнейшая его обработка происходит без сжатия; 9) для каждого сжатого/несжимаемого сегмента рассчитываются 160-битные хеши; 10) хеши объединяются в композиты по 8000 – 30 000 хэшей; 11) затем вычисляются хэши хеш-композитов; 12) хеши хэш-композитов снова объединяются в композиты; 13) и вычисляется большой корневой хэш — это хеш композиции хэшей композиций хэшей 14) Avtar ищет полученное значение корневого хеша в своей базе данных по «хешам блоков» — P_cache.dat. 15) Если хеш корня не найден на клиенте, поиск будет происходить на стороне сервера Avamar; 16) Если корневой хеш не найден на сервере Авамар, то поиск осуществляется уже по хешу хэш-композитов, опять же сначала на клиенте, затем на сервере; 17) И так до тех пор, пока не будет найден хоть какой-то хэш; 18) Только после того, как будут найдены все уникальные блоки данных, хэши которых нигде не записаны, начнется передача данных с рабочей станции на сервер авамар; 19) На сервере авамар вновь скопированная ссылка «блок данных – хеш» записывается под собственным уникальным индексом; 20) Создаётся резервная карта — это ссылки на файлы и блоки; 21) И всё это компилируется в базу данных PostgreSQL; 22) Записывается номер задачи резервного копирования, по которому затем определяется, с какого клиента была сделана резервная копия, время хранения резервной копии, дерево индексов, карты резервных копий и т.д. и т.п.
У этого алгоритма есть две стороны медали: 1. Это позволяет существенно экономить на пропускной способности канала передачи данных и позволяет выполнять резервное копирование даже с источников на удаленной площадке (пример: рабочие станции филиальной сети).
2. Но дедупликация на источнике занимает около 5-10% производительности процессора и оперативной памяти.
Для сервера это может быть весьма критичная цифра, но для рабочих станций она будет незаметна.
При интеграции с EMC Data Domain сервер хранит в своем локальном хранилище только метаданные, а сами данные, уже сжатые после дедупликации, помещаются в Data Domain. Данная схема работает с использованием технологии наддува, используемой в ДД.
Процедура восстановления происходит по следующей схеме:
В общем, нам нужно новое/восстановленное устройство с установленной ОС и клиентом Avamar. Исключение составляют устройства с ОС Windows: их файловая система с загрузочным разделом может быть включена в резервную копию, что позволяет развернуть резервную копию на «голое железо» с помощью утилиты baremetal.
Архитектура
Поскольку Avamar представляет собой комбинацию программных и аппаратных продуктов, каждое решение формируется из набора различных узлов.Узел — это хост, на котором развернут Avamar (управляющий узел) или дисковое хранилище (узлы хранения).
Есть Avamar Grid, он бывает как в одноузловой конфигурации (в данном случае это один Storage Node), так и в конфигурации типа RAIN (избыточный массив независимых узлов) Подробнее о типах узлов
- Служебный узел — управляет всеми необходимыми услугами.
- Storage Node - Хранит данные, существует три типа - M600, M1200 и M2400, различающиеся производительностью и емкостью.
- Spare Node - Резервный узел на случай отказа узла хранения, активируемый и вводимый в эксплуатацию вручную.
- Узел NDMP — узел для работы Avamar по протоколу NDMP.
- Узел Media Access — Узел для подключения ленточных устройств.
Для этого у вас должен быть гипервизор, на котором будет развернута Виртуальная машина с сервером Avamar. В качестве хранилища резервных копий будет использоваться хранилище данных виртуального кластера или внешних систем хранения.
Virtual Avamar доступен в нескольких вариантах — 0,5 ТБ; 1 ТБ; 2 ТБ; Полезная емкость 4 ТБ.
Это регулируется лицензией, купленной компанией.
Кроме того, EMC гарантирует бесшовную интеграцию AVE с VMware в качестве рекомендуемого гипервизора и EMC Data Domain в качестве рекомендуемого хранилища.
У меня была возможность работать как с Avamar Grid, так и с Avamar Virtual Edition. А поскольку у EMC есть пробная демо-версия Avamar Virtual Edition, я расскажу, как ее установить.
Процесс установки виртуального устройства Avamar
Процесс установки виртуального устройства Avamar Если у вас поднятый кластер VMware, установка довольно проста: 1. Разверните образ .ovf и диск .
vmdk виртуальной машины с установочными пакетами внутри, загруженными с партнерского ресурса EMC. 2. В зависимости от версии AVE создаем необходимое количество виртуальных дисков и подключаем их к ВМ с AVE. В нашем случае это 3 диска по 250 ГБ каждый.
3. После развертывания и запуска ВМ получаем «голый» SUSE Linux Enterprise, но со всеми необходимыми репозиториями внутри.
Подключение к нему осуществляется через виртуальную консоль vSphere, а управление через консоль.
Скрипт /usr/local/avamar/bin/ave-part.pl Подготавливаем ОС для установки на нее Avamar. 4. Настройте сетевые интерфейсы.
Проще всего это сделать с помощью утилиты dpnnetutil , он уже включен в виртуальную машину, но это также можно сделать с помощью ЯСТ2 .
После завершения настройки сетевых интерфейсов виртуальную машину необходимо перезагрузить.
5. Разверните мастер установки AVE с помощью команды .
/usr/local/avamar/src/avinstaller-bootstrap-version.sles11_64.x86_64.run .
Потом запускаем.
Мастер установки имеет удобный веб-интерфейс: Авамар_Server_IP :8543/avi/avigui.html. 
Процесс установки и настройки Avamar займет длительное время и потребует участия пользователя: 
8. После завершения установки в веб-интерфейсе выполняем финальный скрипт в консоли
.
/usr/local/avamar/bin/ave-post.sh 9. По окончании установки сервера нам необходимо скачать и установить консоль управления.
Для этого просто откройте в браузере IP-адрес сервера (который вы установили на шаге 4).
С помощью веб-интерфейса можно скачать клиент для различных операционных систем, а также голую утилиту для ОС Windows. Также имеется вся необходимая документация на все, что умеет Avamar. 
Контроль
Контроль Вот как выглядит консоль администратора установленного Avamar:
Добавление клиентов
Администратору предлагается несколько сценариев активации (добавления) клиентов.В любом из них изначально необходимо установить клиент на защищаемую машину.
После этого возможны следующие варианты развития событий:
1. Пользователь может отправить запрос на активацию через клиент: 
2. Администратор может активировать клиентов «по частям», отправив им команду активации с указанием их IP-адреса.
3. Администратор может активировать пул клиентов, указав пул IP-адресов.
В первом сценарии клиент будет автоматически добавлен в корневой домен и к нему будет применена политика по умолчанию.
Во втором и третьем сценариях администратор может заранее определить домен и политику для добавляемых клиентов.
Домены
Концепция централизованного управления предполагает группировку в иерархические «домены» (не путать со службой Windows AD).По сути, это просто древовидная структура папок, включающая список клиентов, их политики копирования, пользователей и делегированные им права.
Таким образом, вы можете группировать защищенные устройства в разные группы с собственными политиками копирования и ограничивать доступ к ним разных пользователей.
Политики Политики копирования определяют все свойства резервного копирования: Расписание 
Окно обслуживания 
Окно обслуживания включает в себя создание контрольных точек, проверку контрольных точек и сбор мусора.
Немного о Checkpoints — это сервер, бэкапящий сам себя.
В случае сбоя хоста/виртуальной машины с помощью этих Контрольных точек можно будет в будущем восстановить сервер управления без потери данных, сохраненных клиентов, пользователей, доменов и политик.
Копировать объекты 
Срок хранения копии 
Вы можете запланировать систематическое резервное копирование на любое время любого дня, выбрать хранилище и т.д. Имеется поддержка большинства ОС, что позволяет выбирать для копирования определенные каталоги.
Это позволяет защитить только те данные, которые вам нужны, сокращая затраты на хранение ненужных копий.
Кроме того, при создании политики вы можете указать срок действия копии.
По истечении этого срока копия будет считаться «просроченной» и будет удалена из хранилища.
Пример: У вас есть пользователь root, у которого есть доступ к корневому домену, т. е.
ко всем клиентам.
Далее вы делите всех пользователей на отделы — продажи, маркетинг, склад, логистика и т. д. Для каждого домена (отдела) можно назначить пользователя для управления политиками копирования.
Или вы можете управлять копированием всех отделов лично.
При этом у пользователей есть разные уровни доступа: просмотр статуса, только копирование, только восстановление, полный доступ.
Те.
Руководитель отдела может иметь право запускать внеплановое резервное копирование, а другие сотрудники — только восстанавливать из существующих копий.
Для управления процессом копирования администратор резервного копирования должен установить себе консоль администратора.
Пользователи могут только просматривать и восстанавливать только свои данные.
Для этого используется веб-интерфейс, который открывается через установленный на устройстве клиент.
Интеграция с VMware
Avamar позволяет копировать виртуальные машины, работающие на гипервизоре VMware vSphere ESXi. Для этого нет необходимости устанавливать клиенты на каждую ВМ.Достаточно развернуть в кластере виртуальную машину, которая будет выступать клиентом для всего гипервизора.
Он называется прокси-сервером Avamar и использует технологию VADP (vStorage API для защиты данных) для резервного копирования.
Для интеграции Avamar с ESXi обязательным условием является vCenter. Процесс установки Дистрибутив прокси-сервера Avamar доступен через веб-интерфейс и представляет собой файл .
ova. После развертывания .
ova и загрузки системы сразу запускается скрипт настройки сетевых интерфейсов виртуальной машины
Затем нужно прописать TRUE на ВМ с сервером Avamar в файле /usr/local/avamar/var/mc/server_data/prefs/mcserver.xml в строке: enter key="allow_duplate_client_names" value="true"
Для тех, кто хочет копировать только виртуальные машины VMware, можно приобрести продукт VDP-A — vSphere Data Protection Advanced. Этот продукт также основан на технологии VADP. По сути, VDP-A — это Avamar Virtual Edition, урезанная и адаптированная для VMware. Он стоит дешевле, чем EMC AVE, поскольку содержит только функционал резервного копирования виртуальных машин и некоторых приложений Microsoft.
Интеграция с Data Domain на примере Data Domain 160
При интеграции Avamar с DD DD используется только для хранения самих резервных копий; все метаданные и кэши остаются на сервере Avamar. Данные будут передаваться по протоколу Boost. Интеграция Сначала вам нужно создать пользователя для Avamar в DD:
Затем в администраторе Avamar на вкладке «Сервер» выберите «Управление сервером» и нажмите кнопку «Действия» > «Добавить систему Data Domain».
Заполняем все предложенные поля, чтобы проверить количество поддерживаемых потоков нажмите Получить информацию о потоке .
В этом же окне перейдите на вкладку SNMP. По этому протоколу сервер Avamar будет получать информацию о состоянии DD. 
В результате мы видим добавленную систему: 
Далее нужно не забыть поставить галочку «хранить резервные копии на DD» в настройках DataSet. 
Обобщить
Основные преимущества продукта резервного копирования и восстановления данных EMC Avamar: 1. Универсальность – поддержка большинства коммерческих операционных систем, баз данных и сервисов.2. Гибкость – различные конфигурации, включая виртуальную версию для VMware vSphere. 3. Простота использования — удобный клиентский интерфейс и интеграция с VMware vSphere. 4. Экономическая эффективность – значительная экономия на требованиях к пропускной способности канала данных за счет использования дедупликации на клиенте.
Таким образом, имея штат от 50 и более человек, мы можем довольно просто реализовать резервное копирование своих устройств.
В большинстве случаев, если у вас виртуализированная инфраструктура, Avamar VE (виртуальное устройство) и места для хранения копий будет достаточно.
Это позволит осуществлять централизованное автоматическое резервное копирование без особых технических сложностей и затрат на квалифицированных сотрудников.
А процедура восстановления утерянных пользовательских данных сведется к замене однотипных рабочих станций и нажатию нескольких кнопок в административной консоли.
Теги: #Резервное копирование #резервное копирование #emc avamar
-
Экзоскелет В Массы
19 Oct, 24
