Как мы тестировали VMware vSAN 7
Здравствуйте, меня зовут Евгений Литовка, я работаю архитектором решений виртуализации в компании.
Нубес .
VMWare недавно выпустила крупное обновление версии 7.x, которое, в свою очередь, включает новую версию vSAN. Мы решили выяснить, насколько эффективны новые решения и можно ли с их помощью снизить затраты на обслуживание систем хранения, в том числе за счет увеличения количества гиперконвергентных структур в одном кластере.
Для тестирования vSAN 7.0 я собрал стенд с четырьмя серверами разной конфигурации.
Результаты оказались весьма обнадеживающими, подробности ниже.
Как я думал об альтернативе SAN
Наш опыт работы в основном связан с созданием классических SAN-сетей для крупных ритейлеров.Часто, сдавая проект заказчику, мы потом наблюдали, как его бизнес постепенно расширялся, а созданная серверная инфраструктура не успевала масштабироваться под новые задачи.
Экстенсивный рост за счет добавления новых коммутаторов, серверов и систем хранения обычно приводит к различным проблемам с производительностью SAN, возникающим по мере развития инфраструктуры.
Работая с такими системами, наши инженеры столкнулись с проблемами производительности магистралей, переполнением очереди HBA из-за чрезмерной фрагментации пакетов, а также с явлением перегрузки SAN. Когда мы попытались устранить эти проблемы, родилась идея выбрать и протестировать аналогичное решение на базе VMWare vSAN, преимуществами которого являются более управляемое масштабирование и повышенная производительность.
Кроме того, очень кстати, в это время вышло обновление vSAN 7.0.
Возможности vSAN 7.0 U1
Вот краткий список того, что появилось в следующей версии:- Файловые службы vSAN теперь поддерживают протокол SMB, включая поддержку Active Directory и Kerberos. Это позволяет, например, организовать хранение файлов в сетях Windows.
- Количество менеджеров агентов увеличилось с 8 до 32 на кластер vSAN — можно сказать, что это обновление относится по большей части к предыдущему пункту, поскольку именно эти агенты отвечают за работу файловых служб vSAN.
- Возможность подключения одного кластера vSAN к другому без необходимости использования обходных путей с помощью iSCSI Target и файловых служб vSAN. Так называемая HCI Mesh позволяет напрямую соединить несколько кластеров vSAN друг с другом, чтобы использовать пространство соседа или хранить какую-либо информацию.
- Возможность отдельно включать дедупликацию и сжатие — опция, которую ждали довольно давно, возможность выбора необходимых технологий для повышения эффективности хранения относительно задачи.
- Возможность свидетеля кластера с двумя узлами отслеживать несколько кластеров упрощает администрирование конфигураций vSAN с двумя узлами.
- Добавлена платформа vSAN Data Persistence, ориентированная на организацию сервисов хранения облачных ресурсов и заслуживающая отдельной статьи.
Нововведение внедряют партнеры VMWare.
Гиперконвергентные технологии объединяют серверы, системы хранения, сетевые компоненты, средства резервного копирования и программное обеспечение для управления ими в одной универсальной «коробке».
Такой подход к развитию инфраструктуры позволяет существенно упростить ее обслуживание, быстро масштабировать при необходимости и снизить затраты на поддержание работоспособности.
Как мы собирали испытательные стенды
Конфигурация стенда vSAN
Специалисты компании собрали 4 сервера в следующей конфигурации: 1U Supermicro 1029U-TN10RT. Содержит: Xeon Gold 6246, 512ГБ DDR4, 8 шт. Intel DC P4510 U.2 1 ТБ, разделен на 2 группы, Mellanox ConnectX-4 Lx 25GE. Знающих людей в такой конфигурации может смутить отсутствие специальных кэш-дисков; в данном случае для тестов использовались диски P4510; при переносе данного сервера в продакшн будут заменены два диска на P4800 в формате u2. Для организации связи используются: Пара коммутаторов Cisco Nexus 9000, а именно 93180YC-EX.Конфигурация стенда классической схемы SAN
3 сервера в следующей конфигурации: 4U Huawei 2488H. Содержит: Xeon Gold 6254, 2 ТБ DDR4, Qlogic QLE2692 FC HBA 16G, Intel x540 10GE. Дисковое пространство предоставляется посредством массивов AllFlash.Система хранения 1 имеет следующие характеристики:
- Процессор 2шт, 24 ядра
- Оперативная память/KЭSH 2*96 ГБ
- Заявленная пиковая производительность 160 000 IOPS при чтении блоков по 4 КБ.
- Установлено 12 дисков по 3,84 ТБ.
Система хранения 2 имеет следующие характеристики:
- ЦП 2 шт. 10 ядер каждый
- Оперативная память/KЭSH 2*256 ГБ
- Заявленная пиковая производительность 198 000 операций ввода-вывода в секунду при чтении блока размером 4 КБ.
- Установлено 12 дисков по 3,84 ТБ.
Кластер тестировался в конфигурациях FTT1-R1 и FTT1-R5. Программное обеспечение для генерации нагрузки для всех конфигураций HCIBench 2.4.0. HCIBench в приемлемом с точки зрения удобства, простоты и возможностей графическом веб-интерфейсе позволяет создать задачу на тестирование подсистемы хранения, после запуска которой вам остается только дождаться результатов ее выполнения.
Результаты
Хранение информации R1 (RAID1) путем простого добавления копии позволяет оценить пиковую производительность.Если вам это нужно для каких-то задач.
Мы сравнили результаты тестов с одной и двумя группами дисков, чтобы оценить влияние их количества на производительность решения VSAN. Здесь мы проверили гипотезу о том, что чем больше групп дисков, тем выше производительность конфигурации.
FTT1-R1 две дисковые группы VMware vSAN 7.0.1 16858589, 2 дг/срв дг1: кэш 1 шт. INTEL SSDPE2KX010T8 932 ГБ, вместимость 3 шт. INTEL SSDPE2KX010T8 932 ГБ дг2: кэш 1 шт. INTEL SSDPE2KX010T8 932 ГБ, вместимость 3 шт. INTEL SSDPE2KX010T8 932 ГБ Запустите несколько шаблонов HCIBench Easy Run один раз.
В этом режиме HCIBench использует все хосты и определяет количество виртуальных машин, время выполнения и шаблоны.
R1 2 группы дисков Результат тестирования этой конфигурации:
- Достигнутые максимумы составляют 756366 операций ввода-вывода/с и 4168 МБ/с.
В этом режиме HCIBench использует все хосты и определяет количество виртуальных машин, время выполнения и шаблоны.
fio-8vmdk-100ws-256k-0rdpct-0randompct-1threads-1602577302
fio-8vmdk-100ws-4k-100rdpct-100randompct-4threads-1602582773
fio-8vmdk-100ws-4k-70rdpct-100randompct-4threads-1602588240
fio-8vmdk-100ws-8k-50rdpct-100randompct-4threads-1602593708 Результат тестирования этой конфигурации:
- Максимумы достигали 410545 операций ввода-вывода/с и 2654 МБ/с.
ФТТ1-Р5 Рассмотренные выше сценарии обеспечивают максимальную производительность за счет доступного пространства, когда это необходимо.
Далее оценим более экономичный сценарий использования ресурсов.
R5 (стирающее кодирование) — наиболее распространенный вариант в основном профиле нагрузки.
Он дает больше места, обеспечивает сохранность данных за счет разбросанных по группам отказов контрольных сумм (в нашем случае мы защищены от выхода из строя машинного зала дата-центра), но теряем производительность записи, поскольку контрольные суммы необходимо вычислять для каждого блока.
Здесь мы хотели увидеть производительность для основного сценария работы, а также при повышенной плотности хранения данных, что важно для провайдеров.
VMware vSAN 7.0.1 16858589, 1 дг/срв, дг1: кэш 1 шт. INTEL SSDPE2KX010T8 932 ГБ вместимость 7 шт. INTEL SSDPE2KX010T8 932 ГБ Запустите несколько шаблонов HCIBench Easy Run один раз.
В этом режиме HCIBench использует все хосты и определяет количество виртуальных машин, время выполнения и шаблоны.
R5 1 группа дисков Результат тестирования этой конфигурации:
- Максимумы достигали 410545 операций ввода-вывода/с и 2654 МБ/с.
А при переходе на стирающее кодирование в случае группы 1 падения производительности нет. Если вы используете эту конфигурацию, вы можете увеличить плотность хранения данных, не влияя на скорость доступа.
Дедупликация и сжатие FTT1-R5 VMware vSAN 7.0.1 16858589, сжатие, дедупликация, 1 дг/срв дг1: кэш 1 шт. INTEL SSDPE2KX010T8 932 ГБ, вместимость 7 шт. INTEL SSDPE2KX010T8 932 ГБ Запустите несколько шаблонов HCIBench Easy Run один раз.
В этом режиме HCIBench использует все хосты и определяет количество виртуальных машин, время выполнения и шаблоны.
R5 1 группа дисков, дедупликация и сжатие Результат тестирования этой конфигурации:
- Достигнуты максимумы: 407678 операций ввода-вывода/с, 1629 МБ/с.
Поэтому важно оценить профиль нагрузки, прежде чем приступать к реализации серверной части.
БПФ1-R5 при заполнении на 50 % VMware vSAN 7.0.1 16858589, сжатие, дедупликация, 1 дг/срв, дг1: кэш 1 шт. INTEL SSDPE2KX010T8 932 ГБ, вместимость 7 шт. INTEL SSDPE2KX010T8 932 ГБ Запустите несколько шаблонов HCIBench Easy Run один раз.
В этом режиме HCIBench использует все хосты и определяет количество виртуальных машин, время выполнения и шаблоны.
R5 1 группа дисков, дедупликация и сжатие, заполнение 50 % Результат тестирования этой конфигурации:
- Достигнутые максимумы: 432362 операций ввода-вывода/с, 1688 МБ/с.
R5 1 группа дисков, дедупликация и сжатие, заполнение 80% Как только мы достигнем 80% занятости, мы увидим негативное влияние на производительность системы.
Большинство производителей систем хранения данных сталкиваются с аналогичными проблемами.
Заполнение дискового пространства до 50% не оказывает сильного влияния на производительность, но при дальнейшем тестировании было обнаружено, что при выходе за пределы 80% наблюдается весьма существенное падение производительности.
После прохождения отметки 80% — 265151 IO/s, 1035 МБ/с.
Что требует отдельного, более глубокого тестирования и настройки стенда, возможно, установки будущих обновлений.
Для классических СХД 1 и СХД 2 мы проводим тесты в профиле, аналогичном R5.
Тестирование хранилища 1
Тест 1
Одноразовый запуск нескольких паттернов HCIBench с одного хоста из двенадцати ВМ, по 4 ВМ на каждом из 4 LUN. Каждый из 8 vmdk каждой виртуальной машины предварительно заполнен случайными данными.
Система хранения 1 Результат тестирования этой конфигурации:
- Максимумы, полученные на указанных паттернах: 270759,92 IO/s, 4575 МБ/с.
Тест 2
Одноразовый запуск нескольких паттернов HCIBench с трех хостов по двенадцать ВМ, по 4 ВМ на каждом из 4 LUN. Каждый из 8 vmdk каждой виртуальной машины предварительно заполнен случайными данными.
Система хранения 1 Результат тестирования этой конфигурации:
- Максимумы, полученные на указанных шаблонах: 278455,59 IO/s, 4844 МБ/с.
По мере увеличения количества задействованных хостов происходит увеличение (5-15%) эффективности ввода-вывода.
Тестирование хранилища 2
Тест 1
Одноразовый запуск нескольких паттернов HCIBench с одного хоста из двенадцати ВМ, по 4 ВМ на каждом из 4 LUN. Каждый из 8 vmdk каждой виртуальной машины предварительно заполнен случайными данными.
Система хранения 2 Результат тестирования этой конфигурации:
- Достигнуты максимумы 139055 операций ввода-вывода/с, 3128 МБ/с.
-
Тест 2
Одноразовый запуск нескольких паттернов HCIBench с трех хостов по двенадцать ВМ, по 4 ВМ на каждом из 4 LUN. Каждый из 8 vmdk каждой виртуальной машины предварительно заполнен случайными данными.
Система хранения 2 Результат тестирования этой конфигурации:- Достигнутые максимумы 144954 операций ввода-вывода/с, 3709 МБ/с.
В комплексном тесте чтения/записи он показывает аналогичную производительность.
При этом во всех тестах СХД 2 показывает существенно меньшие задержки.
Это позволяет рассмотреть возможность использования данной системы хранения в сценариях чувствительных к задержке взрывных операций.
выводы
Развитие современных технологий и программного обеспечения позволяет, используя такие решения, как vSAN или его аналоги, получать те же или лучшие показатели производительности системы хранения, что и у классических решений.При этом мы сокращаем первоначальные затраты на построение сети, экономя на SAN, электропитании и охлаждении.
Кроме того, с их помощью можно создать более гибкую для последующего расширения инфраструктуру.
Мы сравнили современные классические системы хранения данных с программными решениями на примере VSAN. Результаты тестирования различных конфигураций показали, что реализовать быстрое клиентское хранилище данных можно, объединив его с вычислительной частью серверов и сэкономив немного места в стойках.
Это также снижает затраты на прокладку и управление кабельными сетями SAN (если вы не используете для этого ISCSI).
В следующей итерации обновления облака мы будем использовать это решение vSAN 7.0, поскольку, помимо повышения производительности и экономии места, мы получаем финансовые преимущества в рамках VSAN и VCPP (программа поставщиков облачных услуг VMWare).
Стоит упомянуть и о недостатках использования последней версии СХД; это дополнительные затраты на персонал, поскольку требуются квалифицированные специалисты, разбирающиеся в области vSAN (или другого SDS-решения).
Кроме того, вендор устанавливает совершенно недружелюбные цены на лицензии классического Enterprise. Однако вопрос с лицензиями не столь однозначен.
Если у вас есть доступ к схеме подписки, то вопрос ценообразования меняется кардинально, что позволяет провайдерам предлагать своим клиентам очень производительные накопители по доступной цене.
- Достигнутые максимумы 144954 операций ввода-вывода/с, 3709 МБ/с.
-
Обязанности Менеджера
19 Oct, 24 -
Притча. Что У Тебя В Кошельке...
19 Oct, 24 -
Мир Ищет Забывчивую Блондинку
19 Oct, 24