Однажды я проснулся рано и подумал: почему бы не построить дата-центр? Наши собственные, на Intel NUC — мини-ПК, на которых работает половина нашего Технологического центра Intel. Наш офис находился по дороге из офисной столовой, и кто-то выпалил, что я делаю.
Поэтому коллеги начали приходить смеяться.
Они заглянули, спросили, где я прячу дата-центр, а потом рассмеялись.
На третий день смех внезапно прекратился и многие начали чесать затылки.
Потому что получился мобильный дата-центр для демонстраций и обучения, который можно привезти заказчику в чемодане.
Или установить на танк.
Папа строителя дата-центра находится ниже.
Задача
В общем, нам часто нужны целые центры обработки данных для обучения инженеров серверного ядра и запуска нового программного обеспечения.Серверное время стоит очень дорого, поэтому обычно приходится учиться у котов.
В очередной раз, заказывая окно, мы вдруг поняли, что прямо у нас под ногами (буквально) лежит куча Intel NUC. Intel передала их нам для центра решений, который мы открыли в начале года.
И они как раз подходили.
Обычные потребительские компьютеры довольно плохо ведут себя при постоянной нагрузке, требуют сложного охлаждения и т. д. Нуки внутри i7, они рассчитаны на 90-процентную нагрузку в течение всего времени работы (месяцы и годы), имеют очень продуманный радиатор.
.
Я вспомнил, как Apple хотела сделать стойки для центров обработки данных, втиснув четыре Mac Mini в одну стойку, и решил: а почему бы и нет? Все, что мне нужно для объединения машин в центр обработки данных, — это коммутатор и хорошее программное обеспечение для оркестрации.
И всегда есть партнерские лицензии VMware для демонстрации.
И я задался целью построить из них SDDC — программно-определяемый дата-центр, где вся мощь и все виртуальные машины могут быть как полезной нагрузкой, так и частью инфраструктуры.
Вот как это выглядит в эталонной архитектуре VMware: 
Конечно, были казусы: в какой-то момент мой дата-центр разрушила уборщица.
Мне пришлось перестраиваться.
1. Гипервизоры
Полный стек программно-определяемого центра обработки данных начинается с гипервизоров для доставки виртуальных машин на физические.Именно виртуальные машины станут квантами будущего программного центра обработки данных.
Мы взяли гигабитный свитч на 10 портов, 5 нюков.
А с ноута подключались к свитчу и автоматам.
Мы подключились и начали установку.
Сам ESXi было легко установить.
Но VMware не предполагала, что его можно будет установить на такое адское железо, поэтому сетевая карта нюка выпала из числа поддерживаемого оборудования (если оно вообще там было).
А в нашем дата-центре это критично.
Потому что наши компьютеры подключены к сетевому интерфейсу, а не наоборот. Нашли нужный драйвер в старой версии раздачи, добавили в новую 6.5 Update 1. Установили заново - сеть появилась.
По этой же причине из-за отсутствия драйвера не смог запустить SD-ридер.
Пришлось для загрузки использовать внешние флэшки.
2. Управление
Базовая настройка завершена.Развернул vCenter. Это программное обеспечение для управления, оно обеспечивает интеграцию наших ядерных боеголовок в высокодоступный, динамически сбалансированный кластер и позволяет нам управлять ресурсами.
Мы разместили его на одном из ящиков, и пришло время разворачивать гиперконвергентную инфраструктуру во всей красе.
3. Программно-конфигурируемое хранилище (SDS)
На данном этапе у нас есть виртуальные машины на серверах виртуализации, но нет единой системы хранения.Необходимо объединить диски серверов или подключить внешние полки, плюс обеспечить, чтобы при отключении любого из серверов не терялись данные.
То есть развернуть программно-определяемую систему хранения данных.
Потому что отдельная стойка с флэш-фабрикой за 20–50 миллионов в ящик стола явно не помещалась.
Программно-определяемая система хранения данных в стеке VMware — vSAN. Он был настроен плавно в духе «следующий-следующий-следующий-сделано», даже правильно определил NVMe-накопители для кэша (да, представляете, они у нас тоже были).
Но тут возникли проблемы с настройкой коммутатора.
Мы сразу знали, что на свитче нас втиснут в один гигабит, а vSAN в рекомендованной конфигурации их нужно 10, а еще лучше 2 по 10 — он хочет очень быстро обмениваться данными внутри шины.
vSAN нужен Jumbo Frame — большой MTU размером 9000 байт, потому что чем больше кадр передачи, тем меньше накладных расходов и он работает быстрее.
Поначалу наш скромный 10-портовый гигабитный коммутатор упорно отказывался применять настройки MTU. Спустя несколько чашек кофе он наконец сдал и даже был приятно удивлён производительностью — vSAN работал довольно быстро, несмотря на один гигабитный интерфейс в бэкенде.
Далее, vSAN необходимо как минимум два диска на узле.
На атомной бомбе всего двое.
Конфигурация: флешка для загрузки гипервизора, один SSD по SATA 3.0 (Intel SSD DC S3520 емкостью 480 ГБ), второй M.2 — Intel SSD Pro 6000p емкостью 128 ГБ, ставший кэшем в вСАН.
Его было легко собрать.
Если до этого приезжие коллеги желали мне успехов и уходили со смехом, то теперь многие заинтересовались.
Они приходили снова и снова, спрашивая о состоянии пациента.
Передо мной лежал следующий уровень — SDN, то есть программно-определяемая сеть.
Это когда те же серверы виртуализации (в нашем случае ядерные бомбы) становятся компонентами сетевой инфраструктуры.
Где-то в этом районе мой дата-центр уничтожила уборщица: она просто отключила питание всей связки и поставила нуки на место в центре решений Intel. Я очень волновался, так как решения SDS вообще не любят выключать все узлы, да еще и с нагрузкой, но после включения все завелось нормально.
Забегая вперед, скажу, что в самом конце об этом еще раз упомянул коллега, которому понадобилась розетка.
Тоже все прошло хорошо, с полным набором софта.
4. Программно-конфигурируемая сеть (SDN)
Я начал развертывать NSX от VMware. Здесь все стало проще, но не просто.Мы еще немного проанализировали пакеты — были проблемы с проксированием в нашей сети (которая использовалась для доступа к нукам).
Неожиданно ядерное оружие идеально подходит в качестве межсетевых экранов, маршрутизаторов и балансировщиков.
Раньше в офисах для этого использовали старые Pentium-2 — вторая жизнь старой машины.
5. Мониторинг и отчетность
Теперь нам нужен мониторинг.Что такое дата-центр без мониторинга, верно? Мы начали установку vRealize Operations. Он же предназначен, хм, для других задач и для другого железа, поэтому в базовой конфигурации потреблял половину ресурсов моего дата-центра.
Выключил (в обычных ситуациях это делать не рекомендуется).
В результате он собирает данные о том, насколько эффективно используется наш дата-центр, где и каким виртуальным машинам было предоставлено больше ресурсов, чем необходимо (нет), где что происходит. Он смотрит нагрузку на хосты, проводит инвентаризацию и дает советы, где что поменять.
Через SIM-провайдера он получает информацию от оборудования: вентиляторы, температура, состояние диска, задержки записи и так далее.
До выхода оборудования из строя оно может в фоновом режиме мигрировать сервисы и данные с умирающего сервера — эта штука называется Proactive HA. Честно говоря, последнее настроить не удалось — уровень железа не тот, это не серверы Dell или HP. Надо сказать, что я начал выходить из дата-центра под нагрузкой по ночам.
Ядерные бомбы разогревались, и меня это поначалу напугало — я заходил по нескольку раз в день их трогать.
Дома такой обогреватель мне бы точно не помешал.
Но мои коллеги из Intel сказали, что всё напрасно (хе-хе!), и я продолжил эксперименты.
6. Анализ журналов
Следующая ссылка — система анализа логов и всей «умной аналитики» — vRealize Log Insight. Добавлять тут особо нечего, продукт развернулся и заработал сразу, он нужен был только как syslog-сервер для всех компонентов нашего программного дата-центра.
7. Портал самообслуживания с графическим интерфейсом
Следующий этап — vRealize Automation. О нем нужно сказать только то, что он снова отхватил кучу ресурсов.Он развернулся нормально, но загрузил дата-центр из пяти ядерных боеголовок на 90%.
Мы его тоже немного подрезали и развернули на нем базовый портал.
Все!
В целом, это сработало.Это теперь учебный стенд, источник непрекращающихся шуток («Где дата-центр? И у тебя в кармане!», «Почему ты не установил бэкап? А он жрет 100% ресурсов!», «Когда посчитаем сеткуЭ») и демонстрационный модуль.
С полустойкой к заказчику не пойдешь, а с этой легко.
Напомню, что нюки также имеют хорошую встроенную виброзащиту (в отличие от обычных серверов) и в целом очень качественно сделаны, так что в дороге переживут: 
Бэкап я еще в конце нормально установил, кстати.
Почему это интересно? Ну а на практике, используя тот же набор ПО (с парой замен на более дешёвые лицензии) и другое железо, в полустойку можно уместить частный дата-центр.
Это необходимо компаниям со штатом 100 человек, например инвестиционным фондам, которые не хотят делиться своими данными снаружи, и это часто решается дорогими PAK. Или стойка прямо в офисе с шумоизоляторами, в которую напиханы сервера, свичи и упс.
О, да! Я также получил отличное достижение «Строитель центра обработки данных».
И он выиграл пиво.
Для исследователей
Если кто-то захочет повторить наш опыт, ниже представлена конфигурация нашего стенда, который проверен и работает четко.5 мини-ПК Intel NUC Kit NUC7i7BNH, в каждом из которых установлены следующие компоненты:
- 2 модуля оперативной памяти Kingston HyperX Impact 16 ГБ, 2133 МГц DDR4 CL13 SODIMM
- Твердотельный накопитель M.2 128 ГБ Intel SSD Pro серии 6000p для кэша
- Твердотельный накопитель Intel SATA 3.0 емкостью 480 ГБ серии DC S3520 для хранения данных
- USB-накопитель SanDisk Ultra Fit емкостью 32 ГБ для установки гипервизора
Ссылки
- Платформа управления SDDC VMware vCloud Suite. Люкс включает следующие компоненты: vSphere, vRealize Operations, vRealize Log Insight, vRealize Automation, vRealize Business for Cloud, SDS VMware vSAN.
- SDN VMware NSX
- Мини-ПК Интел НУК
- О программно-определяемый центр обработки данных
- Моя электронная почта [email protected].
-
Мёссбауэр, Рудольф Людвиг
19 Oct, 24 -
Эволюция Корпоративных Логотипов
19 Oct, 24 -
Любопытство Возвращается
19 Oct, 24 -
Завершение Работы С Emacs Для Нетбуков
19 Oct, 24 -
Добавьте В «Избранное» На Хабре.
19 Oct, 24 -
Возможности Web 2.0 И Уязвимости Web 2.0.
19 Oct, 24 -
Я Горжусь Своей Профессией. Я Программист
19 Oct, 24
