Как Мы Сделали Pcie Ram-Диск На Основе Памяти Ddr

RAM-диск — это PCIe-диск, построенный на основе микросхем оперативной памяти.

Такой накопитель не может сохранять данные после сбоя питания (если не используется поддерживающая батарея), но обладает исключительно высокими скоростями чтения/записи (особенно при произвольном доступе), а также имеет неограниченный ресурс.

Это важно в задачах, требующих большого количества циклов перезаписи информации, где даже профессиональные SSD-накопители долго не живут. Для операционной системы RAM-диск должен быть неотличим от SSD или HDD-диска и не требовать специальных драйверов или настроек.

В отличие от диска, виртуально находящегося в оперативной памяти компьютера, где максимальный объем памяти на лучших материнских платах ограничен 128-256 ГБ, RAM-диск для слота PCIe, вообще, не имеет ограничений по емкости и может работать на любой материнской плате с слот PCIe.

Этот проект начался несколько лет назад в рамках программы DC ( *распределенные вычисления - распределенные вычисления ).

Со временем скорость интернет-соединения увеличилась и основной проблемой скорости постоянного тока стала низкая скорость HDD. SSD частично решили эту проблему, но повышенный износ SSD, вызванный постоянной перезаписью заданий, отпугнул новых пользователей сети постоянного тока.

Никто не хочет портить свой дорогой SSD ради абстрактной цели.

Но ресурс и высокая скорость записи/чтения с равномерной задержкой очень важны для вычислений постоянного тока, где задержка или сбой в каждом сегменте замедляет работу всей сети компьютеров.

В этот момент наша команда сформировала образ будущего RAM-диска на основе рефанинга ( *использован и перепаян ) Память DDR. Дело в том, что такая память довольно дешева — около 40 центов за гигабайт для DDR3 — и доступна в больших количествах.

Перепайка, проведенная с соблюдением температурного режима, не наносит вреда микросхемам оперативной памяти.

Производители памяти, такие как Kllisre, ZIFEI, TANBASSH, Rasalas и т. д., используют чипы с повторным вентилятором.

Они также установлены в большинстве бюджетных ноутбуков и планшетов китайских производителей.

Использование ревентилятора позволяет снизить стоимость конечного устройства до приемлемых значений без потери его характеристик и надежности.

Вторым очевидным условием было то, что будущий диск будет работать в системе так же, как HDD или SSD-диск, и будет полностью совместим с операционной системой и программными продуктами.

Поэтому за основу был взят чип Silicon Motion SM2262EN. Этот чип поддерживает PCIe x4, NVME 1.3, собственную память DDR для буферизации и 8 каналов памяти NAND/TLC. Благодаря этому он может использовать всю доступную скорость PCIe x4, не теряя ее.

Первая проблема скрыто в том, что интерфейсы памяти NAND и DDR сильно различаются и просто подключить DDR вместо NAND не получится.

Вторая проблема Проблема заключалась в том, что длина дорожек между чипом DDR и SM2262EN не может быть бесконечной.

А для получения емкости в 1 ТБ нам понадобится 256 микросхем памяти DDR по 4 ГБ каждая.

Было заманчиво использовать FPGA в качестве промежуточного звена между SM2262EN и DDR, но третья проблема заключалось в том, что FPGA HMC не может адресовать такое количество микросхем памяти DDR (данный накопитель доступен в версиях от 128 гигабайт до 2 терабайт).

Не буду тратить ваше время на историю наших поисков, но в итоге мы пришли к архитектуре с четырьмя ПЛИС, равномерно распределенными по плате, каждая из которых подключена к двум банкам по 32 микросхемы DDR, а программное обеспечение моделирует работу.

по две микросхемы NAND каждая.

Как мы сделали PCIe RAM-диск на основе памяти DDR

Дисковая архитектура Благодаря такому решению SM2262EN не видит подвоха и работает с памятью так же, как и с чипами NAND. Длины дорожек между FPGA и самой дальней микросхемой DDR в банке находятся в пределах допуска, а их импедансы можно согласовать с помощью резисторов и DCI ( * Импеданс с цифровым управлением ) технологии.

Большая площадь 12-слойной платы и обилие свободного места позволили нам уменьшить количество пассивных компонентов, используя межслойная емкость и сопротивление самих проводников.

Эти решения были тщательно протестированы в HyperLynx, а затем подтвердили свою работоспособность в прототипе.

Пример такой трассировки показан на рис.

ниже.

Как мы сделали PCIe RAM-диск на основе памяти DDR

Кроме того, плата имеет управляемые источники питания (PIMC) и систему загрузки с двумя микросхемами памяти BIOS, содержащими битовые потоки и информацию о конфигурации.

В целях надежности установлены две микросхемы.

Также на диске имеется индикатор загрузки и семисегментный индикатор, отображающий состояние работы диска, самодиагностику и коды ошибок.

Этот маленький помощник позволит вам быстро продиагностировать диск и выявить проблемы.

Конструкция печатной платы и изготовленные образцы показаны ниже:

Как мы сделали PCIe RAM-диск на основе памяти DDR

Чертеж печатной платы диска

Производимые доски Тестирование накопителя показало скорости чтения/записи 7000/6000 МБ/с соответственно, что является пределом для PCIeX4 gen 4 и приближается к пределу скорости памяти DDR3 (см.

скриншот с это видео ).

Как мы сделали PCIe RAM-диск на основе памяти DDR

Особого внимания заслуживают результаты тестов RND4K Q32T16 и Q1T1 — такая скорость достигается за счет особенностей банка памяти чипов DDR, представляющего собой гроздь винограда с носителей небольшого объема, что позволяет работать с ними параллельно.

и одновременно, в отличие от одного чипа NAND. Нам неизвестны SSD-накопители, способные показать сопоставимую скорость в таких тестах.

Как мы сделали PCIe RAM-диск на основе памяти DDR

Сравнение последовательного и произвольного доступа (картинка украдена из вики).

На рисунке ниже показаны основные элементы управления диском DDRAM. Это индикатор нагрузки, дисплей и кнопка самотестирования.

После нажатия этой кнопки накопитель отключает все коммуникации PCIe и начинает тестирование всех своих элементов, включая микросхемы памяти.

Все данные на диске будут уничтожены.

Во время теста индикатор показывает номер тестируемого банка памяти.

Если тест пройден, на индикаторе отобразится Р = пройдено .

В противном случае будет отображен код ошибки.

Для удобства пользователя на дисковой плате справа от индикатора нарисована таблица расшифровки кодов ошибок.

Во время работы индикатор мигает десятичной точкой с частотой 2 Гц.

Это признак нормальной работы всех дисковых систем.

Как мы сделали PCIe RAM-диск на основе памяти DDR

На обратной стороне платы привода расположены микросхемы памяти DDR, покрытые радиатором.

Радиатор необходим, поскольку чипы установлены очень плотно и дополнительно нагреваются снизу микросхемами ПЛИС и другими элементами устройства.

Радиатор не только отводит лишнее тепло, но и выравнивает нагрев разных участков дисковой платы, что исключает искажения характеристик чипов DDR, вызванные неравномерным нагревом.

Использовался сухой термоинтерфейс на основе термопрокладки от 3М.

Как мы сделали PCIe RAM-диск на основе памяти DDR

Чтобы снизить механическую нагрузку на разъем PCIe и упростить установку накопителя в материнскую плату, на плате накопитель имеет выступ, упирающийся в край разъема.

При необходимости этот выступ можно отломить; для этого предусмотрена линия разлома из просверленных в ряд отверстий.

Однако мы еще не встречали материнскую плату, где бы это мешало.

В ходе испытаний на выносливость диск проработал 200 часов непрерывно под максимальной нагрузкой и попеременными операциями чтения/записи.

Никаких изменений в характеристиках диска не отмечено.

Ниже вы можете посмотреть видео тестирования скорости: В настоящее время мы тестируем прототип RAM-диска, использующего два чипа SM2262EN параллельно и работающего в слоте x8. Как и ожидалось, скорость увеличилась вдвое.

Теги: #Компьютерное оборудование #Хранилище данных #DDR4 #pcie 4.0 #FPGA #pcie #DDR3 #Silicon Motion #Silicon Motion #PCIe NVMe #ram disk #pcie ssd #pcie 3.0