Мы в ХОСТКЕЙ Мы регулярно сталкиваемся с необходимостью организовать VLAN на скорости 10 Гбит для кластеров виртуализации – наших и клиентских.
Эта технология необходима для взаимодействия с системами хранения, для резервного копирования, для доступа к базе данных и для обеспечения живой миграции виртуальных машин.
Всегда возникает вопрос: как это сделать надежно и с минимальными затратами? 
До недавнего времени минимальные затраты на такое решение были значительными.
Самый маленький коммутатор 10GbE имел 24 порта, а самой простой картой была Intel X520 за 500 долларов.
Бюджет порта составлял около 700-1000 долларов, а плата за вход была очень высокой.
Прогресс не стоит на месте; В начале 2015 года появился новый класс устройств 10GbE по доступным ценам со склада в Москве и на гарантии.
Поскольку мы в HOSTKEY регулярно создаем выделенные серверы и частные облака на их основе, мы хотим поделиться своим опытом.
Итак, у нашего Клиента 5 машин в кластере и ему нужна 10GbE VLAN — есть 2 файлера, одна резервная машина и несколько нод. На гигабите всё тормозит и ставить гигабитные четырёхпорты в машины для тиминга не хочется.
Вам нужен 10GbE, и ваш бюджет ограничен.
Звучит знакомо, не так ли?
Выбор контроллеров 10GbE
Подбираем сетевые карты для серверов - новые, из наличия и с гарантией.
Есть три варианта, все на PCIe x8: 
1) Старый проверенный Intel X520-DA2 .
2 порта SFP+, на рынке уже 5 лет. Цена ок.
30 000 рублей (~450 долларов США).
Обратите внимание, что модули необходимо сдавать родной По 15 000 рублей за штуку или заказывать в НАГе с инструкцией, чтобы их прошили под эту модель - иначе он их не увидит. То же самое относится и к ЦАП (медные кабели прямого подключения с интерфейсами SFP+ — если кто не знает), мы подумали то же самое, что сделал бы любой, и были вынуждены пойти на второй раунд.
2) Новичок Asus PEB-10G/57811-1S
1 или 2 порта SFP+ на чипсете BCM 57811S.
Впервые мы заметили их в продаже весной.
Цена вопроса 10 000 рублей за штуку с одним портом и 16 000 для 2-портового PEB-10G/57840-2S. Модули любые, для контроллера значения не имеет. Шарф на удивление маленький, чуть больше ладони.
Обратите внимание, что в коробке нет драйверов для VmWare (эту проблему мы постараемся решить в одном из следующих постов).
3) Новый Qlogic QLE3440-CU-CK
Один или два порта SFP+ для ЦАП, как мы и искали.
Нам удалось купить однопортовую версию на 16 000 рублей На Амазоне цена на QLE3440-CU-CK 250 баксов, т.е.
это не сток по старой цене - новый.
Все драйвера на месте, в том числе и для ESXI. Карта немного большего размера.
Специально шить модули DAC/SFP+ не нужно - он всеяден.
Выбор коммутатора 10GbE
Теперь нужно выбрать свитч, нам нужно что-то на 8-12 портов с управлением на уровне L2 без особых наворотов.Nexus и Xtream мы не рассматриваем, это неправильный размер.
Опять ищем что-то новое и из наличия.
Мы не рассматриваем старые Меланоксы с Ebay или Cisco на xenpack, хотя многие так делают.
Выбор еще скромнее: 
1) Netgear XS708E на 8 медных портов, цена 72 000 рублей в Регарде и других местах.
Л2 есть, все контролируется.
У нас на картах нет медных портов, в этом случае придется брать что-то другое.
2) Netgear XS712T-100NES на 12 медных портов, цена 142 000 рублей в отношении.
3) СНР-S2970-12X – 12-портовый коммутатор от NAG. 
Он имеет 12 портов SFP+, 8 просто гигабитных портов и полный контроль на уровне L2. Цена около 100 000 рублей, т.е.
8333 рубля за порт 10G и еще 8 Гигабит бесплатно — на нем же соберем управляющий VLAN. Почитайте форум и ветка обсуждения устройства — для кластера нам это подходит, но для магистрального свитча на уровне дата-центра точно не подойдет. Нам больше нравятся ЦАП; у них задержка составляет 0,3 микросекунды против 2-3 микросекунд для 10GBase-T. На уровне агрегации сети дата-центра это не так важно, а для подключения файлеров нет ничего важнее небольшой задержки.
Расспрашиваем коллег об опыте эксплуатации и заказываем на NAG.ru, через несколько дней коммутатор уже лежит у нас на столе в Москве.
Интерфейс коммутатора простой, есть веб-интерфейс, IOS-подобный CLI и все управляется через SNMP. Ничего сложнее, чем разрезать VLAN и мониторить его в CACTI, нам не нужно, хотя функций у него гораздо больше.
Он может формировать, создавать транки, фиксировать MAC на портах, зеркалировать порты на скорости 1/10G, раскрашивать QOS-трафик и все остальное, что подобает коммутатору L2 в 2015 году.
Снимки веб-интерфейса SNR-S2970-12X:
Первый экран:
Управление портом:
MAC-адреса:
Настройки порта:
Настройка лимитов шейпинга и pps:
Управление зеркалированием портов:
Управление VLAN и транками:
Тестирование
Собираем стенд из двух серверов и свитча - две машины на с1366, супермикра и интел.Устанавливаем карты, устанавливаем их на SSD серверов Windows Server 2012 (по необходимости клиента) и соединяем весь этот ЦАП друг с другом.
Для справки (как тут любят), 2-метровый кабель ЦАП стоит около 2000 рублей 
Драйвера устанавливаются без проблем, все запускается почти сразу.
Никаких ошибок, все работает из коробки.
Qlogic умеет делать себе виртуальные адаптеры, это удобно для виртуализации интерфейсов в кластере — например, один для Heartbeat, второй для iscsi, третий для живой миграции, четвертый для Интернета и пятый для управления всем этим.
С Qlogic все можно разобрать на уровне виртуальных адаптеров.
ИПЕРФ
ИПЕРФ во всех режимах показывает 8.5Гбит у Асуса и около 8Гбит у Qlogic. Пробовали в разном количестве потоков, включали разгрузку, меняли размер jumbo-frame — разница в пределах статистической погрешности.
Асус: 
Клогик: 
Подключаем серверы напрямую друг к другу — номера одинаковые, свитч задержек не вносит. Это проще простого — просто подключаем кабель от свитча к серверу и всё включается.
Контроллеры 10G и ширина шины PCIe
Обратите внимание — мы изначально заметили, что Asus не разгоняется выше 6 Гигабит. Оказалось, что в материнской плате Intel один из слотов восьмого размера на самом деле четырехполосный.Перевели на PCIe с восемью линиями — сразу стало 8,5 Гбит. На таких скоростях это уже важно, натыкаешься на любое узкое место.
Передача файлов через SMB
Тестируем работу обычного SMB-шара в Windows — без проблем, этот пост не об этом.Сначала получаем скорость передачи около 300 МБ — SSD через SATA2 уже не способен.
На матери нет SATA3, поэтому ставим RAM-диск и заливаем туда все.
Распределяем объем по сети и картина сразу меняется - 609Мб в секунду.
Установочный образ размером 4,7 ГБ копируется менее чем за 8 секунд. Судя по тому, что на графике плоская полка, мы где-то уперлись в ограничение, и это не сеть.
Не будем вдаваться в подробности, 600 МБ в секунду более чем достаточно — типичную виртуальную машину объемом 10 ГБ теперь можно перенести за 16 секунд с узла на узел.
выводы
Что происходит, так это то, что все работает быстро и просто.Скорость передачи данных в этом решении составляет около 8,5 Гбит/с — для большинства задач более чем достаточно.
Для создания сетевой инфраструктуры 10G для кластера из 10 машин понадобится всего 200 000 рублей или 3000 долларов США — сумма более чем доступная.
Если комплектоваться двухпортовой платой и двумя резервными коммутаторами, то цена составит 360 000 рублей или около 5500 долларов.
Мы в ХОСТКЕЙ Мы специализируемся на аренде для клиентов крупных специализированных выделенных серверов и кластеров на их базе.
Порт 10GbE для организации VLAN на выделенном сервере обойдется всего в 2100 рублей в месяц.
Если включение 10G Ethernet производиться без участия свитча, например, к одному файлеру с двухпортовой картой подключены два сервера, то это добавит всего 1200-1600 рублей на сервер в месяц.
Обратите внимание, что в однопроцессорный сервер высотой 1U сложно одновременно установить контроллер 10G и аппаратный RAID-контроллер.
Двухпроцессорные машины обычно имеют опцию WIO, когда две платы размещаются друг над другом через райзер или одна плата размещается спереди, как в HP DL160 или Dells.
О ХОСТКЕЙ
HOSTKEY сдает в аренду выделенные серверы в Москве и Нидерландах с 2008 года.
Общий парк собственных серверов сейчас составляет 1300 физических машин на 5 площадках.
Мы работаем в дата-центрах Москвы, сертифицированных по TierIII. Датапро Авиамоторная, Даталайн Север и на некоторых сайтах проще.
В Нидерландах стойки арендуются в Сервериус.
нл , сервера там все свои - перепродавать никому не будем.
В этих центрах обработки данных мы поставь это на ставку серверов наших клиентов и обеспечиваем выделенные серверы всей сетевой инфраструктурой.
Наши цены разумны, и мы делаем все возможное, чтобы сократить наши расходы и предложить нашим клиентам экономически выгодные условия в это непростое время.
Если вам нужно что-то особенное, обращайтесь к нам, мы всегда поможем.
Промокод на скидку 10% до конца августа 2015 года для читателей — HABR170815. Теги: #инфраструктура #кластеры #Asus #серверы #hostkey #qlogic #NAG #10gbe #коммутаторы
-
Ваш Веб-Сайт...`переполненный`?
19 Oct, 24 -
Жерард, Чарльз Фредерик
19 Oct, 24 -
Изучите Python Эффективно
19 Oct, 24 -
Uspeech — История Одного Стартапа
19 Oct, 24
