Как Построить Дата-Центр Tier Iv По Схеме N+1

Системы ИБП с изолированно-параллельной шиной (IP-Bus) — ответ разработчиков на растущую мощность дата-центров.

По всему миру уже построено множество дата-центров с IP-Bus, в том числе сертифицированных Tier IV Uptime Institute. Российские заказчики также присматриваются к таким решениям.

В практике строительства дата-центров наблюдается устойчивая тенденция к их укрупнению.

В мире появились объекты мощностью 100 МВт. Россия также не остается в стороне, хотя и следует в этом направлении с некоторым опозданием.

Всего 10 лет назад в нашей стране дата-центр мощностью 5 МВт считался большим, но сегодня несколько ведущих операторов заявили о планах построить объекты с 2000 и более стойками, что соответствует энергопотреблению 15 МВт и более.

Для организации инженерных систем большой мощности, как показала мировая практика, наиболее целесообразной с экономической точки зрения является схема с параллельным N+x (N+1, N+2.) подключением устройств.

Более того, единичная мощность крупнейших в мире установок ИБП – динамическая, которую можно использовать в подобных решениях, ограничена мощностью (и стоимостью) крупнейших дизельных двигателей, используемых для работы ИБП.

Однако прямое параллельное подключение ИБП, обеспечивая возможность создания эффективных N+x конфигураций, имеет ряд существенных недостатков:

  • Установки низкого напряжения могут использоваться только в системах мощностью до 5 МВт. Это связано как с ограничениями на имеющиеся номиналы низковольтных корпусных устройств (6300 А), так и с высокими токами короткого замыкания, значения которых могут превышать 150 кА.

  • Решения среднего напряжения, позволяющие строить системы мощностью более 5 МВт, удорожают энергосистему и не всегда удовлетворяют потребителей с точки зрения эксплуатации.

  • Общие компоненты системы — входные и выходные шины, байпас — являются распространенными точками отказа.

Схема N+N(2N), соответствующая уровню отказоустойчивости Tier IV Uptime Institute, позволяет избежать основных недостатков классических параллельных систем за счет построения отдельных модулей питания.

Но у этого подхода есть и другие очевидные недостатки:

  • 100% дублирование оборудования, т.е.

    высокие капитальные затраты;

  • большая площадь занимаемой площади;
  • максимальный уровень нагрузки – 50% (на практике – не выше 40%);
  • высокие эксплуатационные расходы.

По этим причинам конфигурация N+N(2N) редко применяется для объектов мощностью более 10 МВт. В 2005 году было найдено решение, позволившее при сохранении главного преимущества параллельной схемы – оптимального количества модулей ИБП в схеме N+x – реализовать на практике системы мощностью до 20 МВт, при этом оставаясь при низком напряжении 0,4 кВ.

Это решение, называемое конфигурацией с изолированной параллельной шиной (IP-Bus), соответствует высочайшему уровню отказоустойчивости (Tier IV Uptime Institute).

Идея IP-Bus основана на использовании кольцевой шины для соединения отдельных модулей ИБП, каждый из которых изолируется с помощью дросселя (рис.

1).



Как построить дата-центр Tier IV по схеме N+1

Рисунок 1. Изолированное параллельное подключение ИБП В системах IP-Bus каждый ИБП работает на собственный выход нагрузки и одновременно подключается к общей шине (IP-Bus) через изолирующий дроссель, выполняющий несколько важных функций:

  • позволяет перераспределять активную мощность между ИБП – модуль ИБП с меньшей нагрузкой «помогает» другим модулям, передавая избыточную мощность по IP-шине (рис.

    2);

  • обеспечивает бесперебойное питание нагрузки в случае отключения ИБП на профилактические работы или в случае аварии (рис.

    3, рис.

    4);

  • замедляет обмен реактивными токами между установками ИБП за счет импедансов дросселей, благодаря чему нет необходимости контролировать реактивную мощность внутри системы.

  • эффективно ограничивает токи короткого замыкания при различных сценариях неисправностей (рис.

    5).

    Благодаря способности распределять нагрузку естественным образом без какого-либо внешнего управления, системы IP-Bus обычно реализуются в резервированных конфигурациях N+x (N+1, N+2…).

    Сокращение количества резервных ИБП до минимума позволяет обеспечить загрузку установок ИБП в системе на высоком уровне – более 70%, что делает такие системы очень энергоэффективными.

" alt="изображение"/> Рис.

2. Пример распределения нагрузки в системе из 16 установок ИБП.

В отличие от «прямой» параллельной конфигурации, в системе IP-Bus каждая установка ИБП контролирует свое выходное напряжение независимо от других — здесь нет центрального устройства управления и нет общей точки отказа.

Если предположить, что поток мощности от одного ИБП по какой-либо причине внезапно пропадает, его нагрузка остается подключенной к IP-шине с помощью IP-дросселя, который теперь действует как резервный источник питания.

В этом сценарии нагрузка будет автоматически и бесперебойно получать питание от IP-шины (см.

Рисунок 3).



Как построить дата-центр Tier IV по схеме N+1

Рис.

3. Пример резервирования системы в случае отказа/отключения одной установки ИБП На практике IP-Bus обычно проектируют в виде кольца, как показано на рис.

4. Второй сегмент IP-Bus, часто называемый обратной шиной (Return-Bus), играет роль резервного источника нагрузок.

, позволяющий подключать их напрямую к IP-Bus через отдельные переключатели – своеобразный байпас, обеспечивающий номинальное напряжение на нагрузке даже в аварийных ситуациях.

ситуациях или при выполнении сервисных работ. Такие байпасы не являются распространенной точкой отказа, так как в начальный момент, пока байпас не закроется, нагрузка бесперебойно продолжает получать питание от IP-Bus через IP-дроссель, как описано выше.



Как построить дата-центр Tier IV по схеме N+1

Рис.

4 Пример нагрузки №2, работающей напрямую от резервной IP-шины Поведение системы IP-Bus в сценариях короткого замыкания также существенно отличается от процессов в «прямой» параллельной конфигурации.

В цепи IP-Bus возможные короткие замыкания из-за использования IP-дросселей оказывают лишь незначительное влияние на нагрузки.

При этом токи короткого замыкания не превышают 100 кА, что позволяет использовать штатное коммутационное, защитное и шинное оборудование.

При наличии короткого замыкания на стороне нагрузки ИБП (см.

рис.

5) влияние такого короткого замыкания на всю систему сравнительно невелико за счет того, что остальные нагрузки изолированы от ИБП двумя дросселями.

соединены последовательно.

С другой стороны, ток короткого замыкания, подаваемый ИБП на общую шину IP, ограничивается сопротивлением дросселя IP. Таким образом, изменения напряжения на незатронутых нагрузках незначительны и остаются в пределах безопасной области кривой ITI (CBEMA).



Как построить дата-центр Tier IV по схеме N+1

Рис.

5. Пример распределения и величины токов короткого замыкания в системе IP-Bus при коротком замыкании на шине питания нагрузки, подключенной к ИБП 2. В случае короткого замыкания на IP-шине между точкой короткого замыкания и ИБП или нагрузкой располагается только один IP-дроссель.

Поэтому провал напряжения на нагрузках в этом сценарии будет значительно больше по сравнению со случаем короткого замыкания в системе распределения нагрузки.

При низком переходном сопротивлении ИБП начальное падение напряжения на нагрузке составит 30%.

Для чувствительных серверных блоков питания согласно кривой ITI (CBEMA) такое падение напряжения допустимо максимум в 500 мс.

Использование сегментированной направленной защиты, специально адаптированной к требованиям системы IP-Bus, позволяет устранить неисправность на IP-Bus в течение 60 мс путем выборочной изоляции источника неисправности и в то же время позволяет части система IP-Bus, которая не подвергается непосредственному воздействию, сохраняет полную эффективность.

Система IP Bus состоит из нескольких установок ИБП, количество которых определяется заданным уровнем резервирования N+x и включает в себя следующие основные компоненты: ИБП с накопителем энергии, IP-дроссель для подключения установки ИБП к ИП.

шину и автоматические выключатели, необходимые для безопасной работы системы.

На рис.

6 показан один из вариантов системы IP Bus на базе роторного ИБП.

Элементы системы: 1. Внешняя сеть 2. IP-шина 3. Обратная шина IP-Return-Bus 4. Поворотный ДИБП с маховиком.

5. ДГС при длительном обрыве сети (опционально) 6. IP-дроссель 7. Байпасный переключатель 8. IP-коммутаторы 9. Загрузка

Как построить дата-центр Tier IV по схеме N+1



Как построить дата-центр Tier IV по схеме N+1

Рис.

6. Пример системы IP-Bus с использованием роторного ИБП Piller UNIBLOCK и внешней дизель-генераторной установки с «нижним» подключением.

Согласно практическому опыту компании Piller, динамические ИБП с маховиками (рис.

6) в качестве резервных накопителей энергии являются идеальным решением для систем IP Bus, поскольку кинетические приводы в DIUP могут работать как в режиме мгновенного поглощения энергии, так и в режиме мгновенного разряда.

, что важно для стабилизации рабочих параметров системы IP-Bus при изменении нагрузки.

Кроме того, мотор-генераторы в составе ДИУП имеют возможность выдавать высокие токи короткого замыкания - до 20 х Iном, что позволяет системам IP-Bus справляться с устранением короткого замыкания в очень короткое время, не подвергая при этом соседние нагрузки.

к негативным последствиям короткого замыкания.

Статические ИБП с аккумуляторными батареями имеют ограниченную возможность мгновенно отправлять и принимать большие токи, кроме того, токи короткого замыкания самих ИБП относительно невелики.

По этим причинам решения IP-Bus на статических ИБП являются скорее экспериментами, и в существующих дата-центрах они практически не встречаются.

Первая в мире система IP-Bus была внедрена в 2007 году для центра обработки данных мощностью 36 МВт в Эшберне (Вирджиния, США).

На объекте установлены две отдельные системы IP-Bus, каждая из которых включает в себя 16 ИБП Piller UNIBLOCK UBT мощностью 1670 кВА с маховиками в конфигурации 14+2. При длительных отключениях внешней сети каждый ИБП резервируется отдельным дизель-генератором мощностью 2810 кВА с «нижним включением», работающим как на нагрузки бесперебойного, так и гарантированного электропитания.

После успеха первой системы IP-Bus эта конфигурация быстро завоевала популярность в индустрии центров обработки данных.

Еще одной важной вехой в развитии и признании технологии IP-Bus стало получение австралийским дата-центром NEXTDC B2 сертификата Tier IV Design & Facility Uptime Institute с системой электропитания IP-Bus N+1 в сентябре 2017 года.

Российский рынок дата-центров только вступает в стадию строительства крупных объектов мощностью более 10 МВт. По результатам первых расчетов концепций и бюджетной сметы решений IP-Bus на нескольких проектах дата-центров в России (в диапазоне мощностей 5-15 МВт) можно сделать следующие выводы.

По сравнению с конфигурацией 2N на статических ИБП решения IP-Bus на базе ДИУП не дороже по первоначальным капитальным затратам, обеспечивают выигрыш на занимаемой площади 30-60% и выгоднее по стоимости более чем на 50%.

собственности (TCO) в течение 10 лет. По сравнению с распределенно-резервированной конфигурацией N+1 (DR 3/2, 4/3), реализованной как на статических, так и на динамических ИБП, решения IP-Bus на базе DIUP не дороже по первоначальным капитальным затратам (для ЦОД с мощностью 10 МВт и более), дают прирост 20-50% на занимаемой площади, на 50% выгоднее по совокупной стоимости владения за период 10 лет. Таким образом, я уверен, что внедрение систем IP-Bus в российских дата-центрах — лишь вопрос времени.

Теги: #Инженерные системы #Энергетика и аккумуляторы #ИБП #ДДИБП #ДИБП #DRUPS #IP Bus

Вместе с данным постом часто просматривают:

Автор Статьи


Зарегистрирован: 2019-12-10 15:07:06
Баллов опыта: 0
Всего постов на сайте: 0
Всего комментарий на сайте: 0
Dima Manisha

Dima Manisha

Эксперт Wmlog. Профессиональный веб-мастер, SEO-специалист, дизайнер, маркетолог и интернет-предприниматель.