Невротика Intel NCS2, чипы Myriad X, решения сторонних производителей — Intel продвигает решения на базе Myriad X в самых разных вариантах.
Почему эти ускорители так хороши? Во-первых, стоимость одного FPS. Во-вторых, полная совместимость с OpenVINO, где вы можете перенести существующие решения с CPU/GPU на флешку или MyriadX без модификации или дополнительной адаптации.
Конечно, адаптация — это не особенность VPU, а скорее особенность OpenVINO, где каждая обученная сеть может работать на любой выбранной аппаратной платформе, будь то CPU, GPU, FPGA, VPU, и выбор можно сделать не до разработки, но после.
Рассмотрим основные показатели установленных в них планок и чипов при выводе нейросетей на базе топологий UNET 576x384 и Darknet19 MMR (распознавание размеров и моделей транспортных средств): 
Основные показатели Intel NCS2 в выводе нейронных сетей UNET, Darknet19
Соответственно, при низкой стоимости мы имеем высокую эффективность использования этих устройств.
А что, если мы говорим о выводе входящих видеопотоков, например, RTSP Ful HD 15 FPS H.264/H.265 внутри серверной инфраструктуры? Вы не можете вставлять флешки в сервер; все-таки это решения для домашнего использования или для экспериментов: 
Intel нейронный вычислительный модуль
В серверном выводе сейчас часто используются графические процессоры nVidia Tesla 4 и Tesla V100. Но есть и вариант от Intel с Myriad X на борту — это Intel Vision Accelerator, специализированное узкопрофильное решение для PCIe или M.2, в зависимости от модификации и количества чипов на плате.
Ниже представлена PCIe-модификация платы: 
Intel Vision Ускоритель
Основных модификаций здесь три — платы с 1, 2, 8 Myriad X на борту в форматах M.2, M-PCIe или полноразмерном PCIe. Вот основные характеристики и требования: 
Модификации Intel Vision Accelerator с 1, 2, 8 Myriad X на борту
Рассмотрим модификации плат от UP Board, например, UP Core AI. Такие устройства часто используются при выводе в непосредственной близости от камеры или других автономных малогабаритных устройств, что позволяет существенно экономить драгоценные ресурсы существующих устройств и не требует их полной замены при дополнении существующего функционала навыками искусственного интеллекта.
Вверх по ядру
Но что, если требуется более высокая плотность?
Интересное решение предложила компания ComBox Technology — полноразмерная несущая плата PCIe x4 с 8 блейдами, в каждой из которых установлено по 8 чипов Myriad X MA2485. По сути, это блейд-система на шине PCIe, где внутри несущей платы может быть установлено от 1 до 8 планок с 8 ускорителями вывода на каждой.Результатом является промышленное масштабируемое решение с высокой плотностью VPU для корпоративного сегмента.
Все блейды в системе отображаются как несколько карт HDDL с 8 ускорителями в каждой.
Это позволяет использовать набор как для вывода одной задачи со множеством входящих потоков, так и для множества разных задач.
Блейд-плата ComBox Myriad X
В решении используется PLX с 12 линиями PCIe, 8 из которых идут на 8 блейдов, по одной линии на каждый и 4 на материнскую плату.
Далее каждая линия идет на коммутатор PCIe-USB, где для подключения используется 1 порт, а на каждый подключенный Myriad X пробрасывается 8. Общая потребляемая мощность платы с 64 чипами не превышает 100 Вт, но возможно также последовательное соединение необходимого количества блейдов, что пропорционально влияет на энергопотребление.
Итого в пределах одной полноразмерной карты PCIe имеем 64 Myriad X, а в рамках серверного решения на платформе, например, от Supermicro 1029GQ-TRT, 4 карты в форм-факторе 1U, т.е.
256 микросхем вывода Myriad X на 1U. .
Супермикро 1029GQ-TRT
Если сравнивать решение на базе Myriad X с nVidia Tesla T4, то разумно рассматривать топологию ResNet50, в которой VPU выдает 35 FPS. Итого имеем 35 FPS/Myriad X * 64 штуки = 2240 FPS/плата и 8960 FPS/1U сервер, что сопоставимо с производительностью батчи=1 nVidia Tesla V100, при этом стоимость ускорителя на Myriad X существенно меньше.
Не только стоимость показывает целесообразность использования Myriad X в выводе, но и возможность параллельного вывода различных нейронных сетей, а также эффективность с точки зрения выделения тепла и энергопотребления.
Теги: #Машинное обучение #Процессоры #Высокая производительность #искусственный интеллект #нейронные сети #аппаратное обеспечение #вывод
-
Что Должна Вернуть Функция?
19 Oct, 24 -
Биткойн Покоряет Телеэкраны
19 Oct, 24 -
Как Я Играл В Банке
19 Oct, 24 -
Страна Не Узнала Своих Героев
19 Oct, 24
