Вы часто слышите, что хранение данных и передача ваших систем ИТ-специалистам опасно и ненадежно.
Якобы данные могут быть недоступны из-за технических проблем с провайдером, дата-центр может стать объектом хакерской атаки, да и просто безопаснее, когда все ИТ-оборудование и все данные компании находятся рядом, «поблизости», а не хранится и обслуживается «на стороне».
Предлагаю посмотреть, как это работает дата-центр IXcellerate, в котором мы храним наши данные и данные клиентов.
Мы являемся поставщиком услуг «Онланта» .
Наше облако OnCloud.ru создан на базе нескольких географически распределенных дата-центров.
Дата-центр IXcellerate — один из них.
Центр обработки данных IXcellerate расположен на территории бывшей промзоны и железобетонного завода в районе Алтуфьево на площади более 15 тысяч квадратных метров.
м — один из крупнейших дата-центров Москвы.
Выбор территории завода железобетонных изделий для создания дата-центра был не случаен – такие предприятия обычно имеют мощные линии электропередачи, а это именно то, что нужно для дата-центра.
На территории дата-центра таких линий две — от двух разных распределительных подстанций.
Расстояние между их вводами в здание – не менее 150 м.
Это серьезно повышает надежность и доступность услуг дата-центра, поскольку вероятность сбоев из-за перебоев в электроснабжении значительно снижается.
Дата-центр IXcellerate начали строить в 2012 году, а уже через год был сдан в эксплуатацию первый компьютерный зал.Проектная мощность дата-центра составляет 13,7 Мегаватт, а вместимость — 1835 стоечных мест, и это число растет. Площадь здания 6000 кв.Основатель IXcellerate — известный международный инвестор и британский предприниматель.
Гай Уиллнер (справа) Соучредителем Гая Уилнера был другой международный бизнесмен, Клифф Гаунтлетт, который начал работать в Советском Союзе в конце 1980-х годов.Он оказался одним из тех иностранцев, которые приехали сюда во времена перестройки, влюбились в страну и, несмотря на все ее проблемы, остались здесь навсегда (Клифф умер в 2013 году).
Многие, наверное, помнят визитные карточки ROL. Их производил российский провайдер «Голден Телеком», где Клифф работал старшим вице-президентом.
Кроме того, Клифф был еще и заядлым «рокером» — он руководил знаменитой группой ROL Band, а его песни есть даже в репертуаре группы «Scorpions».
Отсюда и девиз дата-центра IXcellerate — Rockin’Russia.
Корпоративный фестиваль Rockin’Russia: Клифф Гаунтлетт с гитарой, Александр Вершбоу, посол США в России, на барабанах.(Фото www.passportmagazine.ru. ) Первый компьютерный зал дата-центра IXcellerate был назван в честь Клиффа Гаунтлетта Моста.
Гитара Клиффа до сих пор висит в дата-центре с оригинальным автографом самого Пола Маккартни.
м.
м.
Кроме того, дата-центр располагает более чем 600 кв.
м складских площадей для клиентов, где они могут хранить необходимое для работы оборудование.
К зданию дата-центра ведут две подъездные дороги.
Территория удалена от аэропортов, железных дорог, автомагистралей, различного типа торгово-развлекательных центров, а также жилых домов.
Здание дата-центра с установленными охлаждающими устройствами (чиллерами)
Помимо основного электроснабжения от двух электроподстанций Московского региона, в дата-центре также имеются резервные дизель-генераторы, которые вырабатывают электроэнергию в аварийных ситуациях, например, если обе подстанции выйдут из строя во время стихийного бедствия.
Для дизель-генераторов поставляется специальное топливо – летнее и зимнее.
Возле дизель-генераторов размещают специальные защитные бетонные блоки, чтобы их случайно не повредило движущееся оборудование.
Открытый контейнер с дизельным генератором за защитными бетонными блоками
За работой дизелей следят круглосуточно в режиме онлайн, и даже дежурный делает обход каждые четыре часа.
Во время нашего визита проходило техническое обслуживание дизель-генераторов, на объекте находились автомобили с аппаратурой мониторинга.
В случае сбоя сетевого питания аккумуляторы создают необходимый временной интервал до выхода резервных дизель-генераторов на необходимую мощность после запуска.
Техническое обслуживание дизель-генераторов
В дата-центре строго соблюдаются требования как физической, так и информационной безопасности, а также безопасности электрических сетей.
Здание дата-центра облицовано т.н.
сэндвич-панели как снаружи, так и внутри.
Они обеспечивают теплоизоляцию и физическую защиту.
Дата-центр построен по принципу «коробка в коробке», то есть внутренние помещения отделены от улицы деревьями, бетонным забором, газоном и многослойными сэндвич-панелями.
Крыша здания расположена на высоте 14 м, крыша машинного зала – 9 м.
Между ними имеется защитный слой от протечек.
Многослойность позволяет поддерживать определенные параметры температуры и влажности, оптимальные для работы серверного оборудования.
Микроклимат также создают воздухоохладители (чиллеры) и прецизионные кондиционеры.
Награды центров обработки данных Дата-центр имеет сертификаты ISO 27001 и ISO 9001, сертификат стандарта безопасности данных платежных карт PCI DSS v3.2, а также сертификат соответствия уровню надежности IBM Level 3 по категориям «Проект», «Строительство».
» и «операция».
В 2018 году дата-центр IXcellerate получил сертификат Tier III от Uptime Institute в категории «Дизайн».
Уровень обслуживания SLA, предоставляемый клиентам, — это, как говорят ИТ-специалисты, «пять девяток».
Это означает, что инфраструктура центра обработки данных доступна 99,999% времени.
То есть возможное время простоя в год не превышает пяти минут шестнадцати секунд. Дата-центр третий год подряд является победителем и обладателем премии Russian DC Awards за самое эффективное решение по охлаждению и электроснабжению, за инновационное решение в области снижения совокупной стоимости владения ТШО (Total Стоимость владения), а также локализацию персональных данных.
Инвестиции в дата-центр составляют около $50 млн, а уровень операционной безубыточности достигнут уже через 4 года работы, а не за обычные для дата-центров такого класса 8-10 лет. 
«Прайд-стенд» с наградами и сертификатами дата-центра
Создание дата-центра
Дата-центр IXcellerate строился модульно, в три этапа.Машинный зал первой очереди при строительстве в 2012 году был самым большим в Москве.
Залы второй и третьей очереди идут по периметру зала первой очереди буквой Г.
Каждое машинное отделение имеет свои зоны погрузки и разгрузки.
Для пожарной части также предусмотрена отдельная разгрузочная площадка.
Схема центра обработки данных IXcellerate
IXcellerate создавался как «нейтральный» дата-центр, независимый от поставщиков телекоммуникационных и облачных услуг и ориентированный исключительно на услуги колокейшн, то есть размещение оборудования заказчика, его защиту и обеспечение необходимой инженерной инфраструктуры с установленным уровнем сервиса под стандартный договор.
Бывает, что клиенты спрашивают об облачных сервисах.
Для таких случаев в дата-центре есть экосистема партнеров, чье оборудование предоставляет облачные решения.
Это именно то, что мы делаем.
Давайте посмотрим, что внутри
Дата-центр требует от сотрудников и авторизованных клиентов прохождения двойной идентификации, включая стандартное удостоверение личности и биометрический контроль (сканер ладони).
Контроль доступа для сотрудников
Доступ к ячейкам («сотам»), где установлено клиентское оборудование, находится под круглосуточным контролем, то есть попасть туда могут только уполномоченные клиентом сотрудники дата-центра.
Эти ячейки отделены друг от друга металлической сеткой.
В камерах также предусмотрены собственные меры физической безопасности, такие как кодовые замки и видеокамеры.
Всего имеется пять линий физической охраны с постоянно работающей системой мониторинга и управления зданием (BMS) Computrols.
В дата-центрах стало доброй традицией называть каждый компьютерный зал именем компании или человека, внесшего наибольший вклад в его создание.Зал первой фазы, названный в честь Клиффа Гаунтлетта, рассчитан на размещение 220 стоек с клиентским оборудованием.
При строительстве зала второй очереди использовались инвестиции японской компании Sumitomo Corp., поэтому он и называется The Summit Hall. Зал третьей очереди назван «Высота» в честь технического директора дата-центра Сергея Владимировича Вышемирского, ранее работавшего на аэродроме «Чкаловский».
Табличка с названием третьего машинного зала
ЭПитание и охлаждение
Для питания оборудования клиентов используется высококачественная электроэнергия.Что означает слово «качество» применительно к электричеству? Ни для кого не секрет, что промышленный электрический ток иногда имеет пиковые скачки, которые могут вывести из строя клиентское оборудование.
Поэтому в дата-центре есть специальная «электрокомната», где эти выбросы устраняются.
В результате получается электрический ток частотой 50 Герц, имеющий форму «чистой» синусоиды, без выбросов и пиков.
Электрораспределительное оборудование постоянно контролирует девять параметров качества тока.
Резервирование электропитания дата-центра организовано на уровне 2N: как уже говорилось, к дата-центру подходят два независимых луча электропитания.
Повреждение одного маршрута не приведет к остановке ЦОД или его части, поскольку всегда есть резервный маршрут. Так выглядят входящие линии от электроподстанций на одной из трасс прокладки.
Ввод электропитания от трансформаторной подстанции
Вот еще небольшой штрих к теме электро- и пожарной безопасности.
Электропроводка от выключателей проложена в металлических трубах, чтобы в случае возможного короткого замыкания не вылетали искры.
Выключатели освещения светильников с проводкой в металлических трубах
Все кабели электропитания проходят под фальшполом высотой 1 м.
Под фальшполом к стойкам с оборудованием подается холодный воздух заданной влажности в полном соответствии с международным стандартом ASHRAE. Ячейки с клиентским оборудованием оснащены датчиками температуры и влажности, которые не только визуально отображают эти параметры, но и регулярно передают их в централизованную систему управления инженерной инфраструктурой дата-центра.
Датчик температуры и влажности
Для питания каждой стойки под фальшполом предусмотрены две розетки - каждая от отдельной вводной линии от разных электрических подстанций.
Для еще большей надежности их прокладывают в отдельных желобах.
Две розетки для стойки (через решетку фальшпола)
Некоторые клиенты также устанавливают собственные видеокамеры в отсеках для оборудования для повышения безопасности.
В дата-центре имеются «телеком-зоны», где установлено оборудование 44 операторов связи, в том числе Orange, Sprint, Beeline, МегаФон, МТС, Telia, других операторов и интернет-провайдеров, а также узел MSK-IX и обмен трафиком Eurasia Peering. платформа IX, объединяющая 38 операторов-резидентов.
Дата-центр принимает к установке клиентское оборудование любого размера и функциональности, даже ленточные накопители.
Один из наших клиентов, телеканал с многомиллионной аудиторией, бронирует у нас HD-вещание.
Пожарная безопасность
Возможность быстро и эффективно потушить пожар, а еще лучше вообще предотвратить его – одна из важнейших характеристик любого дата-центра.IXcellerate использует трехуровневую систему обнаружения и тушения пожара.
Первый уровень — система сверхраннего обнаружения дыма Vesda, реагирующая на изменение плотности воздуха и количества примесей и пыли всего на 0,01%.
Самообучающаяся система с элементами искусственного интеллекта хранит в памяти определенную матрицу параметров воздуха.
Такая система способна распознать задымление на самой ранней стадии, а также определить сектор, где произошло изменение параметров.
Apollo – интегрированная система пожарной сигнализации и громкой связи – это следующий шаг в обеспечении пожарной безопасности центров обработки данных.
Но гордость IXcellerate — автоматическая система пожаротушения HI-FOG, способная локализовать пожар на площади 4 х 4 квадратных метра.
м (с возможностью нахождения персонала непосредственно в машинном зале и без воздействия и последствий для других помещений).
Для этой цели в системе HI-FOG используются водяные распылители (разбрызгиватели) под постоянным давлением, расположенные над каждым локальным периметром размером 4 х 4 м.
Важно отметить, что HI-FOG использует сухотрубную систему, т.е.
вещество, используемое для тушения пожара в обычном режиме – дистиллированная вода – хранится в резервуаре, который находится на пожарной насосной станции.
Один из разбрызгивателей
В разбрызгивателе находится шарик с эфирным веществом, который взрывается при температуре 57°С.
О С, после чего автоматически запускается система пожаротушения.
Система HI-FOG создает мелкий туман, который покрывает зону возгорания, вытесняет из нее кислород и снижает температуру.
То есть система позволяет устранить две причины возгорания из трёх возможных.
Третьей теоретически возможной причиной пожара является наличие горючего материала.
Однако уже упомянутые сэндвич-панели, которыми облицованы как внешние, так и внутренние стены, а также плиты фальшпола в зале выполнены из негорючего материала.
Эти панели могут обеспечить до 90 минут огнезащиты.
Кроме того, в дата-центре используются только кабели с низким дымообразованием.
Система HI-FOG, пожалуй, оптимальна для использования в дата-центре, поскольку она обеспечивает локальное тушение, а не заливает все помещение газовой пеной, вызывая повреждение оборудования, не затронутого пожаром.
Кроме того, его использование не требует обязательной эвакуации людей.
Сертификат FM Approved, выданный международным лидером в области независимых испытаний, позволяет использовать технологию HI-FOG также в энергетическом секторе, на перерабатывающих и промышленных предприятиях, а также на подводных лодках и круизных судах.
Пожарная станция
Бачок с дистиллированной водой (синий, на фото виден сзади) предназначен для тушения всей площади дата-центра.
Такая же система работает в московском метро и Большом театре.
Панель управления и контроля
За пультом управления и контроля круглосуточно дежурят люди, контролирующие работу инженерных систем и принимающие заявки от клиентов.Система видеонаблюдения позволяет быстро перейти от отображения общей схемы ЦОД к изображениям отдельных помещений, ячеек, коридоров и стоек с оборудованием, компонентов системы пожаротушения (в том числе спринклерных), источников питания и климат-контроля.
Стандартное SLA предусматривает, что первый ответ на запрос в службу поддержки должен быть дан в течение 30 минут. Однако в дата-центре фактическое время обратной связи с клиентом не превышает шести минут, согласно статистике портала Zendesk, который используется для регистрации запросов.
Поддержка осуществляется на русском, английском и китайском языках.
Пульт системы управления и контроля
За все время работы дата-центра с момента его запуска в 2013 году не было ни одного простоя и ни одного нарушения SLA.
Дата-центр и его слаженный коллектив оставляют впечатление живого организма.
Внутри дата-центра даже есть место для музыки: переходя по коридору из одной комнаты в другую, нельзя не заметить оборудование для рок-группы, в которой когда-то играл Клифф Гаунтлетт и которая выступает на корпоративных мероприятиях и обязательных ежегодный фестиваль под открытым небом IXcellerate - Rockin' Russia. 
Коридор между залами дата-центра
IXсellerate планирует построить новые площадки; Помимо «Москвы Один», появятся дата-центры «Москва Два», «Москва Три» и т.д.
Наша компания " Онланта «Начали сотрудничество с IXcellerate с двух стоек для реализации амбициозного на тот момент проекта по созданию геораспределенного кластера.
На тот момент ни у кого на российском рынке не было такого решения.
Каналы темной оптики обошлись нам в большие деньги по сравнению с прибыль от предоставляемых нами услуг.
Отдельную услугу по катастрофоустойчивому облаку у нас никто не покупал, поэтому мы просто начали развивать свое облако сразу на двух площадках.
Потом появилась третья, как стало очевидно, что она есть.
невозможно обеспечить полную отказоустойчивость и балансировку нагрузки без отдельного «свидетеля», который бы не был привязан к одному из двух сайтов.
Но объективно можно сказать, что из всех трех сайтов IXcellerate лучший — как с точки зрения организации обслуживания, так и с точки зрения организации обслуживания.
и вообще с точки зрения адекватности управления.
Поделитесь, пожалуйста, что вы больше всего цените в своем дата-центре и, наоборот, что вас больше всего раздражает? Или может быть вы хотите работать с нами?
- Руководитель экспертной группы
- Ведущий системный инженер в Vmware
- Менеджер по предпродажной подготовке (облачные сервисы)
-
Как Ни Странно - Крысолов
19 Oct, 24 -
История Компьютерного Дизайна: Холборн 9100
19 Oct, 24 -
Правила Прикорма
19 Oct, 24 -
Камера, Снимающая Плутон
19 Oct, 24 -
Мониторинг Дыма :)
19 Oct, 24
