Первый центр обработки данных Microsoft был построен в 1989 году.
Это был центр обработки данных первого поколения, сейчас это центр обработки данных четвертого поколения.
Microsoft самостоятельно осуществляет проектирование, строительство и управление дата-центрами.
У нас даже есть специальное подразделение для этих задач - Глобальные услуги Фонда (ГФС).
Для каких задач Microsoft использует центры обработки данных?
Во-первых, обеспечить функциональность сервисов, которыми пользуются миллионы пользователей по всему миру (XBOX Live, Hotmail, MSN, Zune, SkyDrive и др.
).
Сейчас это можно назвать известным термином SaaS (Программное обеспечение как услуга).
Во-вторых, предоставить глобально масштабируемую платформу, на которой разработчики смогут создавать свои собственные SaaS. — это платформа Windows Azure, реализующая модель PaaS (платформа как услуга).
В фактах и цифрах это выглядит примерно так: 
Базовая архитектура дата-центров
Начнем с базовой архитектуры центра обработки данных, чтобы понять различия между центрами обработки данных первого и четвертого поколения.
Традиционную инфраструктуру дата-центра можно представить следующим образом (источник Зеленая сетка ): 
Система электропитания .
Система электроснабжения отвечает за снабжение центра обработки данных энергией, обычно десятки мегаватт (МВт).
Обычно (на всякий случай) дата-центры используют две подстанции, поставляющие электроэнергию.
С подстанции ( Подстанция ) на вход дата-центра поступает электроэнергия с напряжением большим, чем у сервера ( ИТ-нагрузка ) готовы к приему на въезд. Поэтому необходимы трансформаторы, снижающие напряжение.
На случай выхода из строя основной системы электроснабжения должны быть предусмотрены резервные генераторы ( Генераторы ).
Кроме того, необходимы промышленные источники бесперебойного питания ( UPS ).
Обратите внимание, что на рисунке к ИБП идут «черные линии» (электричество от электростанции) и «коричневые линии» (электричество от генераторов), а «зеленые» линии (уже прошедшие через фильтр ИБП) публично заявить.
Именно «зеленые линии» идут к оборудованию дата-центра.
Самый простой тип ИБП — это ИБП на аккумуляторной основе (ИБП с резервной батареей), но он обычно не очень подходит для дата-центров, т.к.
обеспечивает достаточно небольшой резерв и время работы.
В наших дата-центрах мы используем дизель-генераторы мощностью 2 – 2,5 МВт. Например, такой генератор может обслуживать деревню из 250 домов.
Система охлаждения .
Система охлаждения отвечает за охлаждение оборудования.
Принцип его работы довольно прост:
- Вода поступает во вход («синие линии») и охлаждается с помощью градирен или градирен ( Градирни ).
Градирни обычно используются в теплом климате.
Для холодного климата сейчас стараются просто использовать холодный воздух снаружи (такие системы значительно дешевле градирен), но для этого на улице должна быть низкая влажность и температура воздуха не выше 23 градусов.
Такие системы называются адиабатическими системами охлаждения ( Адиабатическая система ), именно они используются в центрах обработки данных четвертого поколения.
- Следующий шаг — большие шагающие агрегаты или чиллеры ( Чиллер ) охладить воду.
- Далее вода поступает в специальные кондиционеры – КРАК (блок кондиционирования компьютерного зала), которые уже расположены в помещениях дата-центра (Зона 1).
- Вода, нагретая воздухом («красные линии»), снова проходит весь цикл охлаждения.
При охлаждении помещения очень важно следить за тем, чтобы горячий и холодный воздух не смешивались.
Например, сравните четыре варианта системы: 
Последний четвертый вариант используется не очень часто и для стоек с высокой плотностью серверов.
В общей сложности получается, что при строительстве дата-центров необходимо решить следующие проблемы:
- Отдавайте максимум поступающей энергии непосредственно на серверы, а не на другие установки (охлаждение, кондиционирование и т. д.).
- Охлаждайте дата-центры максимально эффективно (чем меньше установок, а значит, и меньше электроэнергии для этого используется, тем лучше).
- Максимально эффективно использовать площадь дата-центра (при эффективном охлаждении плотность серверов можно значительно увеличить, а значит уменьшить площадь дата-центра и стоимость площадки для него).
- Дата-центр в Ярославле: сбывшаяся мечта последних пяти лет ;
- Дата-центр в Ярославле: инженерные решения для бесперебойной работы ;
- Строительство дата-центра, часть 3: подавайте охлажденным .
Традиционно значение PUE определяется как отношение общего энергопотребления дата-центра к энергопотреблению только полезного ИТ-оборудования, расположенного в нем (сервера, хранилища и т. д.).
Предположим, что для работы дата-центра требуется 15 МВт (серверы, освещение и т. д.), а серверы потребляют только 10 МВт, поэтому PUE = 1,5. Получается, что чем ниже ПУ?, тем лучше.
В настоящее время стандартом для центров обработки данных считается 1,3-1,5 PUE. Центры обработки данных четвертого поколения имеют значительно более низкий PUE, чем центры обработки данных первого поколения.
Поколения центров обработки данных и ITPAC (предварительно собранные ИТ-компоненты) 
Первое поколение — это серверы, второе поколение — серверные стойки, третье поколение — контейнеры, четвертое поколение — специальные модули (IT Preassembled Components, ITPAC).
В обычных емкостях используется внешнее водяное охлаждение, для чего необходимо подключить линии холодной воды; Кроме того, их энергоэффективность несколько меньше.
Для новейших модульных дата-центров на базе ITPAC используется система воздух-вода ( распыление капель воды внутри модуля, что увеличивает скорость охлаждения за счет испарения ) и рейтинг эффективности использования энергии (PUE) 1,05, что означает, что на каждый ватт, отправленный на серверы питания, только 0,05 Вт тратится на охлаждение инфраструктуры.
По сути, ITPAC — это некий стандарт полноценного модуля построения дата-центра.
В нем указаны характеристики контейнера и его компонентов: стойки, системы вентиляции и другого оборудования, а также подведенных коммуникаций, включая воду, электричество и сеть передачи данных.
Важной особенностью является возможность использования наружного воздуха без предварительного охлаждения, температура которого может изменяться в достаточно широком диапазоне.
Работа внутренней системы кондиционирования регулируется в зависимости от температуры всасываемого воздуха.
Так, если оно значительно увеличивается, внутри контейнера ITPAC включается водяное охлаждение; когда она снижается до определенного порога, нагретый серверами воздух используется для поддержания комфортной среды внутри модуля.
При нормальной температуре расход всасываемого воздуха достаточен для охлаждения серверов.
ITPAC может содержать более 2000 серверов.
Строительство дата-центра с использованием ITPAC происходит в разы быстрее и эффективнее: экономичная система охлаждения, контейнеры ITPAC могут быть изготовлены удаленно и доставлены уже в собранном виде на площадку дата-центра.
Где расположены дата-центры?
Ниже указано географическое присутствие дата-центров.
Если говорить о Windows Azure, то сейчас здесь 8 дата-центров (4 в Северной Америке, 2 в Европе и 2 в Азии).
Кстати, двое из них не так давно начали поддерживать Windows Azure. 
Для Windows Azure стоит отметить, что для дата-центров в соседних регионах копирование данных файловых хранилищ происходит автоматически и бесплатно, т.е.
это автоматическая репликация.
В результате мы получаем 6 копий наших данных (по 3 реплики на каждый дата-центр).
Все эти меры (репликация, отдельное питание и т. д.) направлены на повышение отказоустойчивости конечного разрабатываемого приложения или сервиса, который мы предоставляем или который был разработан на нашей PaaS-платформе.
Кстати, еще интересный момент: как мы говорили ранее, для серверов и стоек требуются либо ИБП, либо генераторы.
Генераторы потребляют значительно больше энергии дата-центра, поэтому использование ИБП более «экономно», но как мы помним, его запаса может не хватить — тогда выйдет из строя сервер или потеряются данные (а это нехорошо).
Итак, именно подход к репликации и геораспределению позволяет не терять данные и перенести заботу о SLA с уровня инфраструктуры ЦОД на уровень приложений и сервисов, а это позволяет снизить коэффициент PUE и повысить эффективность.
.
Дата-центр в Калифорнии выглядит как на рисунке ниже: 
Чтобы почувствовать масштаб, сравним его с футбольным полем (желтые прямоугольники, каждый площадью 2464 м2): 
Что дальше? Дата-центр пятого поколения?
Какими будут дата-центры пятого поколения? Давайте посмотрим на данные как на новую форму энергии: 
Старый день : Эпоха, когда еще не было центров обработки данных и SaaS, дома и предприятия получали электроэнергию напрямую и использовали ее по своему усмотрению (для своих серверных комнат и т. д.).
Какой здесь недостаток? Большая трата энергии на этом пути.
Сегодня : с появлением дата-центров большая часть работы и вычислений стала выполняться в них, а на выходе мы получаем данные (SaaS).
Вы можете видеть, что «трата» энергии уже значительно меньше.
Будущее : объединить дата-центр и источник питания (подстанцию).
И это новый способ, потому что.
Распределение электроэнергии на 1 милю стоит около 2 миллионов долларов.
Оптическая линия связи (а не вышка) значительно дешевле.
И мы уже начинаем следовать этой концепции, например, строящийся новый дата-центр в Ирландии.
Главной отличительной особенностью этого дата-центра станет наличие собственная инфраструктура энергоменеджмента .
Я думаю, что многие облачные провайдеры уже об этом подумали.
Будущее покажет, что будет дальше, но новые уровни энергоэффективности уже достигнуты за счет использования передовых технологий и архитектуры PaaS. Если кого-то интересует инфраструктура дата-центров Microsoft, то заходите на сайт Центр Глобального Фонда (GFS) – нам есть что рассказать, потому что… Microsoft – не только компания-разработчик программного обеспечения, но и имеет большой опыт разработки модулей центров обработки данных и архитектур центров обработки данных в целом.
На странице с видео вы можете совершить виртуальную экскурсию по дата-центру, начиная с момента его постройки (это даже интереснее, чем готовый дата-центр).
ПС.
Выражаю благодарность Константину Кичинскому и Анждею Аршавскому за помощь в подготовке статьи.
Теги: #microsoft #центр обработки данных #центр обработки данных #itpac
-
Дизайн И Продвижение Форума
19 Oct, 24 -
Взгляд Изнутри: Умные Лампы Smartlight (Upd)
19 Oct, 24 -
Тролль Заплатит За Все
19 Oct, 24 -
Как Программист Купил Машину. Часть Iii
19 Oct, 24
