ЛРДИММ (Модуль памяти Dual-Inline с уменьшенной нагрузкой или «DIMM с пониженной нагрузкой») — это тип модуля памяти, поддерживаемый серверными платформами с 2012 года.
Модули LRDIMM аналогичны регистровым модулям DIMM и устанавливаются в те же разъемы памяти.
Однако принцип работы LRDIMM отличается от RDIMM. Используя LRDIMM в обычном сервере можно сделать 512ГБ, 1ТБ или 1,5ТБ памяти.
Буфер памяти является основой технологии LRDIMM.
Регистровые модули DIMM подключаются непосредственно к шине, подключенной к контроллерам памяти процессора.В режиме DIMM контроллер памяти управляет каждой микросхемой DRAM, подключенной к линии управления модуля.
И чем больше таких микросхем в модуле памяти (так называемые ранги), тем больше электрическая нагрузка на контроллер.
Ранг – количество чипсетов, подключенных к одной линии выбора чипа.
Ранг — это характеристика модуля памяти.
Ниже показаны двух- и четырехранговые модули памяти.
Двухранговый модуль — это два логических модуля, распаянных на печатной плате и поочередно использующих один и тот же физический канал передачи данных.
Четырёхранговый – аналогичное решение, но в четырёхкратном масштабе.
RDIMM — это модуль регистровой памяти.
Название «регистр» означает, что модули этого типа имеют регистр буферизации, который используется для буферизации адресных и командных сигналов.
В случае модулей LRDIMM к шине добавляется специальная микросхема буфера памяти, подключаемая к каждому модулю.
При работе контроллера с модулями LRDIMM управление сводится к отправке пакетной информации (данных и команд) в этот буфер модуля — iMB (Isolation Memory Buffer).
В отличие от RDIMM, буферизуются не только сигналы управления, но и данные.
Буфер контролирует все операции чтения и записи в DRAM. Через него проходят сигналы данных и команд/адресов — он является посредником между контроллером памяти (Host Memory Controller) и DRAM. 
По мере добавления новых микросхем DRAM (рангов) для регистрации модулей DIMM электрическая нагрузка на модули памяти увеличивается.
С увеличением количества ранков на канал памяти производительность памяти – скорость ее работы – снижается.
Для RDIMM оптимально устанавливать не более двух модулей DIMM на канал, поскольку использование третьего банка снижает производительность памяти.
Канал — это «путь» от модуля памяти к контроллеру, по которому передаются данные чтения и записи.
Модули LRDIMM не имеют этих ограничений, поскольку в них используются микросхемы буферов памяти.
При работе с модулями LRDIMM контроллеры памяти в процессорах работают в последовательном режиме.
Команды и данные передаются в буфер памяти, который контролирует все операции чтения и записи в DRAM.
Умножение рангов
LRDIMM значительно снижают электрическую нагрузку микросхем DRAM на шину данных, и благодаря так называемому умножению рангов (Rank Multiplication).Физические ранги DRAM отображаются для контроллера памяти как один логический ранг большей емкости.
Ниже показано умножение рангов для трех модулей LRDIMM на канал памяти.
Умножение рангов можно отключить и установить в соотношении 2:1 или 4:1 — до 8 физических рангов на LRDIMM. Например, четырехранговые модули LRDIMM преобразуются в двухранговые модули LRDIMM для контроллера памяти.
То есть контроллер воспринимает четырехранговый модуль как двухранговый, а восьмиранговый модуль как четырехранговый.
За счет этого нагрузка на многоранговый модуль становится в два раза ниже.
В результате сервер может поддерживать LRDIMM на более высоких скоростях, чем RDIMM.
Уменьшение электрической нагрузки позволяет системе LRDIMM работать на более высоких скоростях (тактовых частотах памяти) с той же емкостью или увеличивать емкость ОЗУ, сохраняя при этом ту же скорость, что и в конфигурации RDIMM. 
Таким образом, на практике модули LRDIMM можно использовать для увеличения скорости и/или увеличения объема памяти.
Модули LRDIMM обеспечивают более высокие скорости и большую емкость для пользователей, чьи требования не удовлетворяются двухранговыми модулями RDIMM емкостью 16 ГБ или четырехранговыми модулями RDIMM емкостью 32 ГБ.
Например, двухпроцессорный сервер с двадцатью четырьмя слотами памяти можно настроить следующим образом: Модули LRDIMM: 32 ГБ x 24 = 768 ГБ с частотой 1066 МГц и напряжением 1,5 В и 1,35 В.
Модули RDIMM: 32 ГБ x 16 = 512 ГБ при 800 МГц при 1,5 В.
Другой пример: процессоры Intel Xeon E5 v3 содержат четырехканальный контроллер памяти и поддерживают до восьми логических рангов на канал.
Всего на процессор можно установить максимум восемь четырехранговых модулей по 32 ГБ (по два на канал).
Объем памяти на двухпроцессорной плате в этом случае не может превышать 512 ГБ.
На канал можно установить до трёх одноранговых или двухранговых модулей, но они будут иметь меньшую пропускную способность.
Если использовать четырехранговые модули LRDIMM, которые контроллер памяти воспринимает как двухранговые, на один процессор можно установить до 12 модулей по 32 ГБ — всего 768 ГБ памяти, работающей на более высокой частоте.
Сейчас появились LRDIMM на 64 и 128 ГБ, это позволяет получить на сервере фантастический объем памяти – до 1,5-2 ТБ! Учтите, что совмещать LRDIMM и DIMM нельзя — система просто не запустится.
Особенности модулей LRDIMM
Помимо увеличения объема оперативной памяти и ее скорости, архитектура LRDIMM обладает рядом других полезных особенностей.iMB, буфер памяти LRDIMM, поддерживает инструменты тестирования DRAM и LRDIMM, включая прозрачный режим и MemBIST (встроенное самотестирование памяти), VREF (опорное напряжение) для шин данных (DQ) и команд/адресов (CA), проверку четности для команды, встроенное управление, аналогичное регистру 32882 для RDIMM, дополнительный интерфейс SMBus (последовательная шина управления) для регистров конфигурации и состояния LRDIMM, а также встроенный датчик температуры.
Прозрачный режим: используется для проверки модуля памяти.
Модуль просто действует как буфер и передает сигналы и данные на микросхемы DRAM. МемБИСТ: Для инициализации DRAM и тестирования компонентов память LRDIMM поддерживает функцию MemBIST (встроенная самопроверка памяти).
Он служит для полного тестирования DRAM. Тестирование выполняется на рабочей частоте с использованием командной/адресной шины или доступа по SMBus. ВРЕФ: Модули LRDIMM могут использовать внешние параметры напряжения для данных (VREFDQ) и команд/адресов (VREFCA) или внутренние параметры из буфера памяти.
Если VREF устанавливается буфером памяти, то уровнем напряжения может управлять главный контроллер памяти.
Для этой цели используются регистры конфигурации буфера памяти.
Программируемые уровни напряжения позволяют поставщикам памяти и системных компонентов гарантировать надежную и стабильную работу интерфейсов памяти LRDIMM. Проверка четности: Чтобы обнаружить поврежденные команды на шине команд/адресов, для входящих команд в буфере памяти выполняется проверка четности.
В случае возникновения ошибки генерируется сигнал ERROUT_n. Интерфейс SMBus: Буфер памяти поддерживает управление через дополнительный последовательный канал (внеполосную последовательную шину управления).
Он позволяет записывать и читать данные из регистров состояния.
Датчик температуры: он встроен в буфер памяти и обновляется 8 раз в секунду.
Доступ к нему можно получить через интерфейс SMBus. Для отправки сообщения контроллеру памяти о высокой температуре можно использовать вывод EVENT_n буфера.
Как «разогнать» LRDIMM?
Небуферизованная шина данных остается слабым местом системы памяти RDIMM. Например, четырехранговый модуль DDR3 RDIMM означает четыре электрические нагрузки на шине данных.Таким образом, максимальная скорость четырехрангового модуля DDR3 RDIMM составляет 1066 МТ/с (миллион транзакций в секунду) в конфигурации «один DIMM на канал» (один DPC) и 800 МТ/с в конфигурации «два DIMM на канал» ( конфигурация с двумя ЦОД.
В LRDIMM буфер использует как шину данных, так и шину команд/адресов.
Это позволяет увеличить скорость передачи данных и плотность памяти.
Ниже представлена схема шины данных четырехрангового модуля RDIMM в конфигурации с двумя модулями DIMM на канал.
Он демонстрирует, что при 8 электрических нагрузках на шине данных целостность сигнала канала памяти сильно ухудшается, ограничивая частоту.
При восьми электрических нагрузках и скорости 1333 МТ/с максимальное время передачи данных на шине снижается до 212 пс в идеальной точке VREF и не превышает 115 мВ при максимальном напряжении.
«Окно данных» — это период времени, в течение которого контроллер может считывать данные, и этот период уменьшается по мере увеличения частоты, на которой работает память.
Эффект сжатия окна данных означает, что два четырехранговых модуля RDIMM в конфигурации с двумя модулями DIMM на канал не подходят для работы со скоростью 1333 МТ/с.
Приходится выбирать компромисс между объемом памяти и ее быстродействием.
Ниже представлена диаграмма окна данных для двух четырехранговых модулей LRDIMM в конфигурации с двумя модулями DIMM на канал.
Электрическая нагрузка 8 физических рангов DRAM заменяется двумя электрическими нагрузками буфера памяти.
Целостность сигнала значительно улучшилась.
Хотя условия аналогичны предыдущей иллюстрации, окно данных увеличилось с 212 до 520 пс, а его максимальная высота увеличилась со 115 до 327 мВ.
Улучшенная целостность сигнала означает, что модули LRDIMM могут работать на скорости 1333 МТ/с и выше, даже с несколькими модулями LRDIMM на канал.
Вам не придется выбирать между объемом памяти и пропускной способностью памяти.
Немного об объеме системной памяти
Одним из главных преимуществ LRDIMM является возможность значительно увеличить объём оперативной памяти без ущерба для скорости памяти.Путем электрической изоляции DRAM от шины данных к каждому DIMM можно добавить дополнительные ранги, сохраняя при этом целостность сигнала, а дополнительные микросхемы DIMM можно установить на каждый канал памяти.
Распространенным вариантом является LRDIMM емкостью 32 ГБ.
Это модули 4Rx4 по 4 ГБ DDP (пакет с двумя кристаллами) DRAM. Поскольку каждый LRDIMM представляет собой одну электрическую нагрузку для контроллера памяти, также можно установить больше модулей DIMM на канал.
Возьмем, к примеру, двухпроцессорный сервер с тремя слотами памяти DIMM на канал, четырьмя каналами на процессор.
С помощью LRDIMM емкость его оперативной памяти можно увеличить в два-три раза по сравнению с RDIMM. Ниже приведены максимальные емкости RDIMM и LRDIMM для различных скоростей и напряжений.
Например, для памяти DDR3 с напряжением 1,5 В и скоростью 800 МТ/с система с полным набором модулей RDIMM может иметь до 384 ГБ оперативной памяти с использованием 16 ГБ модулей RDIMM 2Rx4 на канал.
Использование модулей LRDIMM позволяет увеличить эту емкость вдвое — до 768 ГБ.
Ограничение материнской платы (обычно 8 рангов DRAM на канал) преодолевается за счет умножения рангов LRDIMM. В этом случае на канал приходится 12 физических рангов.
При скорости 1066 или 1333 MT/с ограничения целостности сигнала не позволяют использовать более трех модулей DIMM на канал в конфигурации RDIMM. Для памяти DDR3 1,5 В со скоростью 1066 или 1333 МТ/с максимальный объем ОЗУ с RDIMM составит 256 ГБ.
Модули LRDIMM не имеют таких ограничений и могут вмещать три модуля DIMM на канал со скоростью 1066 МТ/с (или 1333 МТ/с).
В этом случае общий объем оперативной памяти составит 768 ГБ, то есть в три раза больше.
Для памяти DDR3L с напряжением 1,35 В и скоростью 1333 МТ/с преимущество LRDIMM еще больше.
А как насчет энергопотребления LRDIMM?
Модули памяти LRDIMM не только позволяют увеличить объем оперативной памяти сервера, но и делают это с минимальной потерей энергоэффективности.Хотя буфер памяти в LRDIMM в конфигурации «один DIMM на канал» потребляет больше, чем RDIMM в той же конфигурации, разница нивелируется в конфигурациях с высокой плотностью 2 и 3 DIMM на канал.
Ниже показано нормализованное энергопотребление на RDIMM или LRDIMM в конфигурациях с одним и двумя модулями DIMM на канал при различных скоростях памяти.
Поскольку фактическое энергопотребление зависит от плотности и используемой технологии DRAM, относительная мощность указана для модулей LRDIMM и RDIMM одного поколения DRAM. Это модули 4Rx4 емкостью 32 ГБ.
Мощность модуля RDIMM при скорости 800 МТ/с принимается за единицу.
Для измерений использовались стандартные тесты с 50% операций записи и 50% операций чтения.
При скорости 800 MT/с в конфигурации с одним модулем DIMM на канал модули LRDIMM потребляют на 17% больше энергии, чем RDIMM, но в конфигурации с двумя модулями DIMM на канал разница составляет всего 3%.
При 1066 МТ/с это составляет 15%, но в конфигурации «два DIMM на канал» разница тоже невелика.
При скорости 1333 МТ/с энергопотребление на один модуль LRDIMM в конфигурации с двумя модулями DIMM на канал на 28 % меньше, чем в конфигурации с одним модулем DIMM на канал.
Ниже приведены аналогичные результаты для 100% чтения.
Поскольку модули LRDIMM используются в основном в системах памяти с высокой плотностью памяти, больший интерес представляет потребление на LRDIMM в конфигурации с двумя модулями DIMM на канал.
Потери в энергоэффективности в этом случае практически отсутствуют. 
Большинство платформ Intel E5 могут поддерживать два модуля LRDIMM на канал с частотой 1333 МГц и напряжением 1,5 В и три модуля LRDIMM на канал с частотой 1066 МГц, что позволяет создавать конфигурации с двенадцатью модулями LRDIMM на процессор; При использовании четырехранговых модулей RDIMM используется всего 8 сокетов на процессор, а максимальная скорость составляет 800 МГц.
Нужны ли LRDIMM?
Как узнать, нужно ли вам вообще использовать LRDIMM? Определите скорость передачи данных для вашего сервера (см.информацию о производительности в документации поставщика).
Если вам нужно более 8 x 32 ГБ на процессор, вам нужны модули LRDIMM, в противном случае будет достаточно четырехранговых модулей RDIMM емкостью 32 ГБ и частотой 800 МГц.
Если требуются частоты 1066 МГц или 1333 МГц, следует использовать только модули LRDIMM. Ниже показаны ограничения по рангам и максимальным рабочим частотам памяти на примере двухпроцессорных материнских плат серий Supermicro X9 (LGA2011) и X10 (LGA2011-3) при установке процессоров Intel Xeon E5 серии 2600 разных поколений.
Серия Supermicro X10 + E5-2600 v3 (Haswell) 
Двухпроцессорные платы серии Supermicro X10 не поддерживают модули небуферизованной памяти (UDIMM).
Очевидно, что для достижения максимального объема оперативной памяти и максимальной скорости ее работы необходимы модули типа LRDIMM DDR4. 
Hynix HMTA8GL7AHR4C-PBM2: Серверная оперативная память, объем памяти: 64 ГБ, пропускная способность: PC12800, тип: DDR3 LRDIMM. 
Kingston KVR16LL114/32 — модуль памяти DDR3L, объём 32 ГБ, форм-фактор LRDIMM, 240-контактный, частота 1600 МГц, поддержка ECC, CAS Latency (CL): 11. Средняя цена такого модуля — 28 тысяч рублей.
Модуль памяти Samsung DDR4 2133 Registered ECC LRDIMM 32Гб.
Средняя цена около 22 тысяч рублей.
Это 288-контактный модуль LRDIMM с тактовой частотой 2133 МГц.
Есть поддержка ECC, CAS Latency (CL): 15. 
Модуль памяти Samsung, 32 ГБ, 288-контактный DDR4 SDRAM DDR4 2133 (PC4 17000), модель серверной памяти M386A4G40DM0-CPB, задержка Cas 15.
В целом модули LRDIMM обеспечивают до 35 % большую пропускную способность памяти, чем стандартные модули RDIMM.
Наибольший эффект использование LRDIMM будет иметь для приложений, интенсивно использующих оперативную память, облачных вычислений и задач HPC (высокопроизводительных вычислений), когда в оперативную память необходимо загружать и обрабатывать большие объемы данных.
В виртуальной среде это дает возможность увеличить «плотность» виртуальных машин.
В центрах обработки данных – повысьте энергоэффективность и сократите совокупную стоимость владения (TCO).
Альтернатива? LRDIMM на 128 ГБ!
Технологии не стоят на месте и компания Samsung представила новые модули памяти LRDIMM емкостью 128 ГБ.
Они используют технологию упаковки чипов под названием TSV (Through Silicon Via) — чипы DRAM соединяются вертикально с помощью электродов, проходящих через микроскопические отверстия, как это было в 3D VNAND. 
Память TSV DDR4 DRAM в модулях RDIMM емкостью 128 ГБ считается настоящим технологическим прорывом.
Его преимуществами являются удвоенная емкость по сравнению с предыдущими стандартными модулями, высокая скорость и эффективность.
Благодаря 20-нм техпроцессу память TSV DDR4 объемом 128 ГБ потребляет на 50% меньше энергии по сравнению с модулями LRDIMM емкостью 64 ГБ.
Осталось уточнить цену вопроса.
Практическая польза
128ГБ в сервере с 8 слотами памяти можно собрать на DDR3 RDIMM 16ГБх8, то есть 9000 руб * 8 = 72 000 руб.На LRDIMM это две планки по 64ГБ по 30 500 рублей каждая, то есть стоимость составит 61 000 рублей, что дешевле традиционного решения.
Тем более, что сейчас нет особого смысла переплачивать за материнские платы с 16 слотами памяти — 99% серверов можно собрать на 8-слотовых платах.
Это соответствует 512 ГБ памяти стандартного X9DRL. Пока большие модули DDR4 LRDIMM объемом 64 ГБ стоят 75 000 рублей за штуку (модуль памяти 64 ГБ PC17000 LR M386A8K40BM1-CPB0Q SAMSUNG в МЛКО).
Если поставить 32 ГБ, то цена LRDIMM DDR4 составит 21 000 рублей за штуку — это 84 000 рублей за 128 ГБ, что немного дороже обычной именной памяти.
Все это позволяет нам в HOSTKEY еще дешевле сдавать в аренду большие выделенные серверы, снижать стоимость виртуальных машин и делать частные кластеры еще надежнее и за меньшие деньги.
Немного о HOSTKEY
С 2008 года мы сдаем в аренду выделенные и виртуальные серверы, а также предоставляем услуги серверного хостинга в 4 дата-центрах Москвы, включая два дата-центра, сертифицированных по Tier-III. Мы специализируемся на крупных выделенных серверах и создании частных облаков и кластеров для наших клиентов на их основе.
У нас есть горячее предложение для наших читателей: Доступные серверы на базе суперкомпьютеров «Т-Платформа» и процессоров Intel Xeon E5-2630v2 со скидкой 15% до конца декабря (или до их окончания) при использовании промокода TMW5U0S8SE
Например, для сравнения: 
— 2xE5-2630v2 (12x2,6 ГГц)/64Gb RAM/1x1Tb SSD+1x1Tb 7.2K HDD = 17 000 рублей в месяц со скидкой 14 450.
— 2xE5-2630v2 (12x2,6 ГГц)/128Gb RAM/1x2Tb SSD+1x2Tb 7.2K HDD = 25700 рублей в месяц со скидкой 21800
— 2хE5-2630v2 (12х2,6 ГГц)/256Гб ОЗУ/2х2Тб Samsung SSD = 36 500 рублей в месяц со скидкой 31 000
— 2хE5-2630v2 (12х2,6 ГГц)/32Гб ОЗУ/2х600Гб SAS 10K = 13 650 руб.
в месяц, со скидкой 11 600 руб.
Все цены указаны с учетом НДС, возможна практически любая комплектация.
Все сервера подключены по гигабитному каналу, лимит трафика 10ТБ без ограничений.
К каждому выделенному серверу предоставляется удаленный доступ по IPMI; есть возможность организовать VLAN на скорости до 10Гбит/с.
Теги: #Высокая производительность #память #DIMM #LRDIMM #RDIMM
-
Ноутбук Dv6000T От Hp
19 Oct, 24 -
Подпороговое Восприятие
19 Oct, 24 -
Sapesfaction
19 Oct, 24 -
Журнал Тегов
19 Oct, 24
