Чипы Для Ml — Рассказываем О Новинках

Речь идет о новых архитектурах как от крупнейших мировых производителей, так и о стартапах — микросхемах вафельного масштаба, тензорных процессорах и устройствах на основе графов.

^{Подборка по теме:}

Инструменты для разработчиков программного обеспечения: открытые фреймворки и библиотеки машинного обучения

Фото - Джейсон Люнг — Unsplash

Waferscale для глубокого обучения

При производстве классических процессоров используется кремниевая подложка.

разделять для отдельных кристаллов.

Но в случае с пластинчатыми процессорами полупроводниковая пластина не делится — она становится большим чипом.

В результате компоненты становятся ближе друг к другу и производительность системы увеличивается.

Этот подход использовали инженеры Cerebras Systems и TSMC, разрабатывая чип для глубокого обучения — Церебрас ВФБ .

Его показал на конференции Hot Chips в конце лета.

Устройство является Это квадратный кристалл со стороной 21,5 см.

Он состоит из 1,2 триллиона транзисторов, объединенных в 400 тысяч ядер.

Эти ядра «общаются» друг с другом с помощью фирменной системы Swarm с пропускной способностью 100 Пбит/с.

Разработчики говорят, что чип предварительно оптимизирует расчеты , фильтруя нулевые данные в матричных операциях — они составляют от 50 до 98% всех значений.

В результате обучение модели на Cerebras происходит в сто раз быстрее, чем на классических графических процессорах.

Однако в NYTimes на подобные заявления отреагировал со здоровой дозой скептицизма — аппаратная часть еще не проверена независимыми экспертами.

Вычислительные ядра Cerebras являются программируемыми.

Их можно оптимизировать для работы с любыми нейронными сетями.

Ожидается, что новый чип найдет применение в облачных системах и приложениях машинного обучения — от дронов до голосовых помощников.

Когда чип поступит в продажу, пока неизвестно, но ряд компаний уже тестируют его на рабочих нагрузках.

Еще один проект в области полупроводниковых устройств для МО — Кремниевая соединительная ткань (Си-ИФ).

Его развиваются в лаборатории Калифорнийского университета.

Si-IF — это устройство, объединяющее десятки графических процессоров на одной кремниевой пластине.

Разработчики уже представили два прототипа на 24 и 40 графических процессоров.

Их производительность в 2,5 раза выше, чем у классических устройств.

Систему планируется использовать в дата-центрах.

Тензорные процессоры

В мае 2018 года Google объявила ТПУ v3 — третье поколение своих тензорных процессоров для работы с библиотекой машинного обучения Тензорфлоу .

О технических характеристиках нового устройства Мало что известно .

Серийная версия будет изготовленный по 12- или 16-нм техпроцессу.

Расчетная тепловая мощность — 200 Вт, производительность — 105 терафлопс при работе с bfloat 16. Это 16-битная система представления чисел с плавающей запятой, используемая в глубоком обучении.

Производительность Google TPU второго поколения при выполнении ряда задач превысил возможности NVIDIA Tesla V100 в пять раз.

Инженеры утверждают, что третье поколение в восемь раз мощнее своего предшественника.

Даже за чипсы пришлось установить жидкостное охлаждение.

Чипы для ML — рассказываем о новинках

Фото - Синека — CC BY Корпорация планирует перевести на новые тензорные процессоры ряд своих систем: голосовой помощник, сервис обработки фотографий и алгоритм ранжирования поисковых запросов RankBrain. Компания также хочет создать облачные масштабируемые суперкомпьютеры на базе ТПУ и открыть доступ к ним для ученых, занимающихся исследованиями систем искусственного интеллекта.

Поздняя весенняя служба запущен в бета-режиме.

Чипы, работающие со сложными графиками

Британский стартап Graphcore разработал чип для задач глубокого обучения Колосс МПС (Интеллектуальный процессор).

Он содержит 1200 ядер и набор специализированных трансцендентные функции .

Каждое ядро обрабатывает шесть потоков.

Аппаратное обеспечение работает в тандеме с программным обеспечением Poplar. Он компилирует модели и строит на их основе сложные многоэтапные алгоритмические графы, которые работают на процессорах IPU. Тесты первых образцов Graphcore показали, что они имеют в сто раз большую производительность, чем традиционные графические процессоры.

Запускать уже доставляет полноразмерная карта PCI-E для серверов.

В его состав входят два чипа IPU, изготовленные по 16-нм техпроцессу и состоящие из 24 миллиардов транзисторов.

Вычислительная мощность такого устройства составляет 125 терафлопс.

Карты предназначены для работы в дата-центрах IaaS-провайдеров и автомобилях с автопилотом.

Основатели стартапов Они говорят что с их устройствами работают более ста клиентов, но конкретные компании не называют. Конкуренция в сфере оборудования для машинного обучения становится все более жесткой.

На рынок выходят новые игроки, предлагающие инновационные архитектуры, в то время как авторитетные компании продолжают расширять возможности существующих решений.

В любом случае это играет на руку владельцам дата-центров, дата-сайентистам, инженерам и другим специалистам, разрабатывающим системы искусственного интеллекта.