Технический Обзор Архитектуры Хранения Данных Infinidat

Таким образом, организация VUA и VDA, соединений между ними и адресация этих соединений позволяют реализовать очень быстрые снапшоты и Thin Provisioning. Поскольку создание моментального снимка представляет собой просто обновление метаданных в памяти и является постоянной операцией во время работы, на самом деле это вообще не занимает времени.

Обычно при создании снимков классические системы хранения прекращают обновление метаданных и/или операций ввода-вывода, чтобы обеспечить целостность транзакций.

Это приводит к неравномерной задержке ввода-вывода.

Рассматриваемая система работает иначе: ничего не останавливается, а для определения того, включена ли операция в снимок, используется временная метка из метаданных блока (64+4 КБ).

Таким образом, система может делать сотни тысяч снимков без замедления, а производительность тома с сотнями снимков и тома без снимков ничем не отличается.

Поскольку все делается в памяти и это обычные процессы, по группам томов можно делать десятки снимков в секунду.

Это позволяет реализовать асинхронную репликацию на снапшотах с разницей между копиями в секунды или даже меньше и без ущерба для производительности, что тоже немаловажно.

Давайте посмотрим на систему в целом, на то, как передаются данные.

Операции происходят через порты всех трёх контроллеров (серверов).

Драйверы портов работают в пространстве пользователя, что позволяет их просто перезапустить, если какая-либо комбинация событий на портах приведет к сбою драйверов.

В классических реализациях это делается в ядре и проблема решается перезапуском всего контроллера.

Далее поток разбивается на разделы по 64Кб+4Кб.

Что это за дополнительные 4 КБ? Это защита от скрытых ошибок и запись контрольных сумм, времени и дополнительной информации об операции, которая используется для классификации операции и используется для оптимизации кэширования и упреждающего чтения.

Кэширование записи — довольно простая вещь, чего нельзя сказать о кэшировании чтения.

Кэширование чтения работает хорошо, если мы знаем, что читать.

Классические системы используют алгоритмы упреждающего чтения для последовательного доступа.

Но что делать с произвольным? Полностью произвольный доступ в реальных приложениях встречается крайне редко; даже правильно его эмулировать довольно сложно; написать настоящий генератор случайных чисел — довольно интересная задача.

Но если рассматривать каждую операцию ввода-вывода отдельно, как это делается в классических системах, то все они произвольны и непредсказуемы, кроме полностью последовательных.

Однако если вы некоторое время посмотрите на весь поток ввода-вывода, то сможете увидеть закономерности, объединяющие различные операции.

Системный кэш принципиально ничего не знает о томах, файлах или любой логической структуре, построенной на VUA. Кэш просматривает только разделы и их метаданные, основывая кэширование на их поведении и атрибутах, что позволяет находить зависимости между различными приложениями, которые действительно связаны между собой.

Векторы активности строятся для операций ввода-вывода.

Система накапливает статистику, строит эти векторы активности, затем пытается идентифицировать текущий ввод-вывод и привязать его к известным векторам или построить новый.

После идентификации происходит предварительное чтение по вектору, то есть прогнозируется поведение приложений, а предварительное чтение производится для, казалось бы, произвольной нагрузки.

Запись на диски 14 разделов собираются в страйп для сброса на диски.

Это делается с помощью специального процесса, который выбирает участки для такого страйпа.

Далее подсчитываются две секции четности — страйп готов к записи на диски.

Четность рассчитывается с помощью нескольких операций на основе XOR, что в два раза быстрее, чем при использовании кода Рида-Соломона.

Далее страйп (14+2 раздела) назначается RAID-группе (RG).

RAID-группа — это всего лишь объект для хранения нескольких страйпов, не более того.

Полосы собираются в группу, как показано ниже, одна поверх другой, а вертикальный столбец называется членом группы RAID. VDS (Virtual Disk Space) — дисковое пространство, доступное для пользовательских данных, а VDA — адреса на нем.

Колонка или член RAID-группы записывается на один диск (PD — Physical Drive) на одной полке (Disk Unit).

Место, куда записывается член RAID-группы, называется разделом диска (DP — Drive Partition).

Количество ДП на диске постоянно и равно 264, размер зависит от размера диска.

Такая конструкция позволяет равномерно загружать все диски.

В этом случае алгоритм распределяет столбцы из одной RAID-группы как можно дальше друг от друга, на разные диски и полки.

Это приводит к тому, что при одновременном выходе из строя двух дисков количество общих страйпов на них минимально, и система переходит из состояния защиты N в N+1 за считанные минуты, перестраивая те страйпы, где отсутствуют два столбца.

один раз (надежность ведь семь девяток).

В результате логическая конструкция системы в целом выглядит достаточно просто и представлена на схеме ниже.

Физическая реализация Система спроектирована таким образом, что все ее компоненты защищены по схеме N+2 или 2N, включая каналы питания и передачи данных внутри массива.

Вот схема реализации блока питания.

ATS (автоматический переключатель резерва) – ATS, переключатель фаз BBU (Battery Backup Unit) – ИБП, источник бесперебойного питания.

Узел – контроллер



Такая схема позволяет защитить контроллеры и целостность памяти при сложных событиях, например, при сбое электропитания и временном отключении одной цепи питания.

ИБП являются управляемыми, что позволяет получать точную информацию о заряде и гибко изменять размер кэша, чтобы контроллер всегда успевал его сбросить.

То есть система начнет активно использовать кеш гораздо раньше, в отличие от классической схемы, когда кеш включается только при полной зарядке аккумулятора.

Вот схема каналов передачи данных внутри системы.

Контроллеры соединяются друг с другом через Infiniband, а с дисками — через SAS. Каждый контроллер может получить доступ к каждому диску в системе.

Более того, если соединение между контроллером и диском не работает, то контроллер может запросить данные через другой контроллер, выступающий в роли прокси, через Infiniband. На полках стоят коммутаторы SAS для одновременного доступа к дискам.

На каждой полке находится 60 дисков, полок может быть две, четыре или восемь, всего до 480 дисков по 3, 4, 6, 8 или 12 ТБ.

Общая емкость, доступная пользователю, составляет более 4,1 ПБ без сжатия.

Если говорить о сжатии, то для реализации сжатия без потери производительности память не сжимается, в результате с включенным сжатием система иногда работает даже быстрее - при чтении читать нужно меньше, мощности процессора хватает с запасом.

, а при записи ответ приходит напрямую из памяти и сжатие происходит асинхронно при прямой записи на диски.

Контроллеры содержат две группы дисков: одну, системную, для сброса оперативной памяти и вторую, на SSD, для кэширования операций чтения (до 368ТБ на систему).

Столь большой кэш позволяет осуществлять прогнозное чтение большими кусками, а поскольку данные в страйпе выбираются примерно с одинаковой частотой доступа, такие большие куски не только снижают нагрузку на физические диски, но и имеют высокие шансы оказаться востребованными.

в ближайшем будущем.

Краткое содержание Итак, мы рассказали об одной очень интересной системе хранения данных, которая имеет современную архитектуру и обеспечивает высокую емкость, высокую надежность, отличную производительность и адекватную стоимость.