Иногда идеи возникают без должной проработки на начальном этапе, и эти идеи благодаря убедительности их автора кажутся всем членам команды очень перспективными.
Итак, некоторое время назад группе компаний ВИТ и ComBox Technology пришла в голову идея реализовать сервер на базе множества микрокомпьютеров.
Назначение сервера — выполнение нейронных сетей на процессорах и графических процессорах микрокомпьютеров.
Ожидаемый форм-фактор будущего сервера — 1U, стоечная версия.
И всё бы ничего, вот только идея включала пассивное охлаждение, так как заявленное тепловыделение предназначенных для использования микрокомпьютеров составляло 25 Вт. Собственно, микрокомпьютер, предложенный для реализации, представлял собой Intel NUC с процессором Intel Core i5 и встроенным Графический процессор Iris Plus 655. 25 Вт, 1U, пассивное охлаждение, сервер — все это звучит обнадеживающе, но тут начали всплывать нюансы.
Во-первых, в сервере должно было быть 8 микрокомпьютеров.
То есть тепловыделение, пропорциональное энергопотреблению, уже равно 25*8=200 Вт. И уже на этом этапе можно сказать «нет» пассивному охлаждению, но эксперимент был продолжен.
В том числе, из соображений дальнейшей адаптации технологии проектирования зданий для наружного применения.
Разработка аппаратной части проходила параллельно с разработкой использования необходимого программного обеспечения.
Мы использовали комплекс для обнаружения и распознавания номеров и марок/моделей автомобилей компании ВИТ под названием EDGE. Как оказалось, при измерении энергопотребления под 100% нагрузкой Intel NUC8i5BEK потребляет 46 Вт вместо заявленных 25. При таком подходе энергопотребление и тепловыделение сервера уже становятся 46*8 = 368 Вт. А это не учитывает блоки питания и дополнительные компоненты.
В качестве теплоотвода мы использовали медные пластины после шлифовки и специальной гравировки.
Затем медная пластина передала тепло алюминиевому теплообменнику наверху сервера.
Из-за ошибок в расчетах теплообменник занимал 2/3 верхней крышки и располагался с обеих сторон параллельно 4-м микрокомпьютерам с левой и правой стороны сервера.
В центральной зоне сзади располагался блок питания мощностью 550 Вт, а спереди — маршрутизатор Mikrotik 1 Гбит.
Эстадия проектирования серверов на базе 8 микрокомпьютеров
И результат, который получился:
Сервер NUC с пассивным охлаждением
Конечно, данная конструкция работала при средней нагрузке, но при 100% продолжала медленно нагреваться и отдавать значительную часть тепла в окружающую среду.
Даже внутри серверного шкафа с горячим и холодным коридором конструкция неизбежно нагревала вышестоящего «соседа».
Уменьшение количества микрокомпьютеров до 4 позволило стабилизировать температуру нагрева и избежать троттлинга даже при 100% нагрузке, но проблема вышестоящего «соседа» осталась.
Технологический стек решения разошелся по двум направлениям:
- Пассивное охлаждение Intel NUC8i5BEK в уличном корпусе
- Активное воздушное охлаждение в серверном корпусе высотой 1U.
Сервер высотой 1U с 8 процессорами Core i5 и 8 графическими процессорами
Да-да, это много и да, это возможно.Как, спросите вы? Путем подключения нескольких микрокомпьютеров внутри корпуса высотой 1U на сетевом уровне через маршрутизатор.
Конкретно для выполнения нейронных сетей и обработки входящих RTSP-потоков такое решение является оптимальным.
Кроме того, он позволяет создавать масштабируемые системы на основе комбинации Docker, Docker Swarm и Ansible.
В процессе разработки нам пришлось спроектировать несколько разных версий:
Прототип будущего решения
Оригинальная идея сохранила хорошо зарекомендовавшие себя медные радиаторы и алюминиевые радиаторы, но теперь расположены непосредственно на каждом вычислительном узле внутри корпуса.Далее для отвода тепла были использованы 2 вентилятора, установленных перед каждым вычислительным модулем, направляющих теплый воздух из холодного коридора в горячий (с передней части сервера).
Для активного управления вентиляторами были разработаны специальные платы, изменявшие их скорость в зависимости от датчиков температуры на каждом микрокомпьютере.
Из-за отсутствия необходимости в PoE роутер лишили активного охлаждения и перешли на пассивное охлаждение с тепловыделением не более 10 Вт. Блок питания в первой версии остался 500 Вт, но был установлен на специальные крепления с возможность быстрой замены, но при отключенном питании.
Для контроля состояния вычислительных узлов на лицевую панель добавлена индикация из 8 диодов.
Прототип сервера NUC от ComBox Technology, 8 процессоров Core i5 и 8 графических процессоров Iris Plus 655 в форм-факторе 1U
Технические характеристики первой версии сервера на Intel NUC:
- Intel NUC8i5BEK (без корпуса с доработанной системой охлаждения), 8 шт.
- Модули памяти DDR4 SO-DIMM AMD Radeon R7 Performance, 8 ГБ, 8 шт.
- Дополнительные модули памяти DDR4 SO-DIMM Kingston, 4 ГБ, 8 шт.
- SSD-накопитель M.2 WD Green, 240Гб, 8 шт.
- Корпус 1U (собственное производство)
- Роутер MikroTik RB4011iGS+RM (без корпуса с доработанной системой охлаждения), 1 шт.
- Соединительные провода (патч-корды), 11 шт.
- БП IBM 94Y8187, 550 Вт.
Производственная версия NUC Server
Серийная версия претерпела существенные изменения.Вместо одного блока питания у сервера теперь 2 с возможностью горячей замены.
Мы использовали компактные серверные блоки питания мощностью 600 Вт от Supermicro. Имеются специальные места для вычислительных модулей и возможность их горячей замены без отключения питания всего сервера.
Многие петли сети были заменены стационарными автобусами, прикрепленными к сиденьям.
Для управления сервером добавлена ARM-архитектура микрокомпьютера Nano Pi от компании FriendlyARM, для которой написано и установлено программное обеспечение для проверки и мониторинга состояния вычислительных узлов, информирования о неисправностях и аппаратного сброса конкретных вычислительных узлов через GPIO, если это необходимо.
Вентиляторы в серийной версии установлены за передней панелью по направлению от холодного коридора к горячему, а ребра алюминиевого теплообменника теперь направлены вниз, а не вверх, что сделало память и диски каждого вычислительного узла доступный.
Наружный корпус Intel NUC
Поскольку микрокомпьютеры сами по себе не являются промышленными, для использования на открытом воздухе необходимо не только жилье, но и соответствующие климатические условия.Нам потребовалась защита от пыли и влаги IP66, а также рабочая температура от -40 до +50 градусов Цельсия.
Мы проверили две гипотезы эффективного отвода тепла: тепловые трубки и медные пластины в качестве радиатора.
Последний оказался более эффективным, хотя и имел большую площадь и более дорогие решения.
В качестве теплообменника также используется алюминиевая шпала с рассчитанными размерами ребер.
Для работы устройства при минусовых температурах мы использовали керамику для нагрева.
Для удобства эксплуатации и внедрения в различных сферах были установлены источники питания с широким диапазоном напряжения 6-36 В.
Основное назначение получившегося устройства: выполнение ресурсоемких нейронных сетей в непосредственной близости от источника данных.
К таким задачам относится подсчет пассажиропотока на транспорте (автопассажиров, поездов), а также централизованная обработка данных по обнаружению и распознаванию лиц в производственных условиях.
Intel NUC в корпусе для наружного применения, IP66, с модулем климат-контроля
Общая схема гибридного вывода
Для вывода обычно используются три типа устройств: серверы в ДЦ, камеры с установленным в них программным обеспечением для обнаружения и распознавания объектов и уличные микрокомпьютеры (к которым камеры подключаются, например, через свитч).Далее требуется агрегация и хранение данных (событий) со многих устройств (например, 2 серверов, 15 камер, 30 микрокомпьютеров).
В наших решениях мы используем следующую схему агрегации и хранения данных с помощью систем хранения: 
Общая схема работы гибридного вывода
Теги: #Производство и разработка электроники #Компьютерное оборудование #Высокая производительность #искусственный интеллект #нейронные сети #нейронные сети #машинное зрение #распознавание объектов #intel nuc #микрокомпьютер #вывод #вывод #вывод #ядерный сервер #сервер для вывода
-
Стоит Ли Покупать Драйвер Ati Radeon X1200?
19 Oct, 24 -
Большая Байкальская Тропа
19 Oct, 24 -
Сапер На Дцпу-16
19 Oct, 24 -
Анонимные Комментарии (Плюсы И Минусы)
19 Oct, 24 -
Поиск Mp3 Вконтакте В Вашем Браузере
19 Oct, 24
