Lsi Nytro Megaraid Nmr8100-4I В Действии

Клиент сформулировал мне в ХОСТКЕЙ задача - на 1 (один) сервер с 12 ядрами и 64ГБ памяти нужно около 3-4ТБ места для более-менее однотипных виртуальных машин, но чтобы всё работало как на SSD и при этом сохранялось в пределах 16 000 рублей в месяц.

Мы начали думать, что есть несколько вариантов:

• Делаем все на SSD. берем 6 дисков по 500Гб типа Samsung 840 Pro eMLC, собираем их в страйп или еще каким хитрым способом, добавляем пару дисков по 3ТБ для резервного копирования и.

  не влезаем в бюджет. Сервер 2U, 8-портовый RAID-контроллер и диски по 12 000 рублей за штуку не пропускают.

• Делаем все на жестких дисках, берем 12х300Гб SAS 15К и опять не укладываемся ни в бюджет, ни в производительность.

• Мы используем RAID-контроллер с внешним SSD-кешем — LSI CacheCade или Adaptec MaxCache. Идея лучше, но нам нужно 4 диска по 2ТБ в RAID10 — для него придется взять 8-портовый контроллер и SSD eMLC или SLC на 120 ГБ.

  Чтобы иметь доступ к SSD, опять же нужно брать корпус 2U. 8-портовый контроллер + SSD стоит около 37 000 рублей, что выше нашего бюджета.

• Мы используем новый LSI Nytro MegaRAID NMR8100-4i. Берем систему 1U, ставим в нее контроллер, ставим в нее 4 диска по 2ТБ в RAID10 и укладываемся и по производительности, и по бюджету.

  Нитра стоит 27000 рублей, в ней уже есть 2 диска по 44ГБ, и SLC!

Посмотрим, на что он способен – не на рекламных буклетах, а на практике.

Полная машина:

Цена в месяц с хостингом и каналом 100М - 16 000 руб.

Спецификация нашей Нитры:

Цена образца по состоянию на август 2013 года 27 000 рублей, гарантия 3 года.

Кто хочет прочитать полный обзор - внимание, в английском языке много букв.

Тесты

Будем смотреть под Windows 2012 - будет максимально понятно.

Для начала настроим необходимые массивы в биосе и посмотрим настройки контроллера — все гибко настраивается самым традиционным образом.

Внешний вид утилиты не менялся уже лет 15 наверное.

Рейд

Можно сделать зеркало или страйп — выберем страйп, тем более, что в документации четко указано, что в случае выхода диска из строя система сама выведет его из использования.

На логическом томе можно создать любой RAID — от 0 до 6. Настраивается все традиционно.

Готовая установка

Ставим, из коробки все видно.

Софт обычный, тоже лет 10 не менялся.

Все оригинальное, на своем месте.

Четкое поведение при авариях.

Очень важно, что теперь мы видим процент износа SSD и можем оперативно поменять контроллер и принять профилактические меры.

На старых контроллерах, если в массиве был SSD, вытащить из него SMART или что-то еще было невозможно.

Запуск блочного устройства

Чтение:

Кэш явно пустой - все идет с диска.

Не хватит на 10 RAID, он должен быть толще.

Но у нас другая задача — виртуализация.

Производительность чтения обычно компенсируется кэшем ОС.

IOPS при случайном чтении - ничего магического, все операции мимо SSD - все предсказуемо медленно, как и должно быть с пары дисков.

Вход:

Нитра пишет на SSD и потом с него большими блоками на диски.

В начале забилось 1 ГБ памяти контроллера, затем системе на 3 ТБ хватило запаса SSD, и только последний 1 ТБ записывался напрямую на диски без кэша, диски не успевали.

Посмотрим, что происходит с записью — здесь все отлично.

За один раз мы видим стандартную производительность SSD — все записи идут через него, диски не задействованы.

У нас 14 000 IOPS на малых блоках с типичным временем доступа 0,07 мс.

Большой! Если мы фиксируем транзакции из базы данных, они будут мгновенно потеряны на диске.

Если виртуальная машина решит поменять местами или положить что-то на диск, на дисковую подсистему это не повлияет.

Запуск с файловой системой

Все стандартные тесты во всем томе особо не отличаются от тестов блочных устройств.

Давайте установим размер файла в 10 ГБ и запустим его.

При первом запуске файла еще нет в кеше.

Первый гиг записи валится через память на скорости около 3Гб/с, потом тормозит до 1000Мб/с, после 50Гб видимо уже не помещается в SSD и начинает писать на диски со скоростью 250Мб/с.

Значения IOPS уже взяты из кэша SSD — в одном потоке 4000 на чтение и 10 000 на запись, отлично! При 32 потоках остается 52 000 на чтение и 23 000 на запись, видимо 32 потока это слишком много.

Файлы размером 512 МБ попадают в кэш оперативной памяти контроллера и раздаются оттуда со скоростью PCIe 2,5 ГБ в секунду.

Повторение операции наглядно показывает, как файл раздается с пары SSD — плоской полки со скоростью 1000 МБ в секунду — он не разгоняется быстрее RAID0 на паре интегрированных SSD. IOPS не влияет.

Линукс

Ответ правильный, LSI верен себе - все видно сразу и без подсказок.

Протестируем стандартным бенчмарком, первый раз - унылая картинка, второй раз уже гораздо веселее! Средняя скорость чтения 426 МБ/с с задержкой около 10 мс, что приемлемо при тестировании поверхности емкостью 4 ТБ.

Давайте попробуем, как более ранние карты LSI увидят наш RAID10 — я взял 4 разных контроллера LSI 9260 и OEM Intel — ни один из них не смог загрузить конфигурацию массива.

Возможно, 9266 сможет его прочитать, но под рукой таких людей не оказалось.

В общем, об этом нужно помнить при формировании запчастей.

Почему вам следует использовать Нитру?

• Для виртуализации: На дисках ВМ не так много движущихся фрагментов.

  Статистика наших облачных VPS-узлов показывает, что на каждую операцию чтения приходится 2-3 операции записи, которые достигают дисковой подсистемы.

  В течение дня перезаписывается 10% используемого места и перечитывается максимум 5-6% от общей емкости.

  Измерить свои метрики легко — запустите iostat на день и узнайте о себе все.

• Для баз данных: Если база данных не помещается целиком в память, спасением будет Нитра.

  Все важное с индексами будет на SSD и в памяти, все неважное из больших каталогов будет на диске.

  Все транзакции записи будут выполнены мгновенно, блокировать будет нечего.

Для чего вам точно не следует его использовать:

• большие медиаархивы, видеосайты, потоковое вещание, резервное копирование и хранилище резервных копий.

  Пользы не будет — кэш не будет работать или будет слишком слабым.

  Для веб-сайтов тоже нет особого смысла — все, что особо важно, прекрасно помещается в память и распространяется оттуда, а то, что не важно на уровне блоков, кешироваться не будет.

• Для файловых систем типа ZFS и других, которые хотят видеть сами диски.

  Кэш не поймет логику файловой системы и исчезнет.

• Для видеонаблюдения, нелинейного монтажа - длинные линейные чтения и записи - это не про Нитру.

Общий

Это выгоднее и надежнее, чем использовать чистые SSD для построения файловых систем и надежнее, чем собирать программные файлы с кэшами в памяти.

Nitra — отличный помощник для крупных серверов баз данных и внутрикорпоративной виртуализации, когда можно или нужно обойтись без глобальной системы хранения.

4–8 дисков SAS/SATA + Nitra = производительность SSD без надежности SSD и RAID. На базе Нитры мы в самое ближайшее время ускорим работу нашего кластера виртуализации в Голландии и думаю значительно повысим надежность и производительность, о чем я напишу позже.

Автор - Генеральный директор ХОСТКЕЙ Теги: #Виртуализация #Хостинг #выделенный сервер #Высокая производительность #raid #hostkey #lsi #ssd-кеширование #nytro

• Умная Деловая Поездка: Оценка Dell Optiplex 3020M

  19 Oct, 24

• Талисман

  19 Oct, 24

• «Ангстрем-Т»: Хронология Проекта И Мегазаказ

  19 Oct, 24

• Управление Агрегацией Журналов С Помощью Logstash-Оператора В Kubernetes — Opensource-Решение От M2

  19 Oct, 24

• Нужна Помощь В Восстановлении Винта.

  19 Oct, 24

• Hr-Hack — Совместный Хакатон Альфа-Банка, Unilever, Леруа Мерлен, Крок И Билайн

  19 Oct, 24

• Мобильный Оператор Не Может Предотвратить Выдачу Злоумышленникам Дубликатов Sim-Карт

  19 Oct, 24

• Zabbix Summit 2019: Чего Ожидать В Этом Году

  19 Oct, 24

• Что Нового В Gmail

  19 Oct, 24

• Дизайн Карточки Сотрудника Для Телефонного Справочника Sharepoint 2013 На Портале Worklite

  19 Oct, 24