Интернет-гигант использует машинное обучение и искусственный интеллект для повышения эффективности своих центров обработки данных.
По словам Джо Кава, вице-президента по бизнесу дата-центров Google, компания начала использовать нейронные сети для анализа огромного количества данных, собираемых на серверах, и выработки рекомендаций по улучшению их производительности.
Фактически, Google создал компьютер, который знает о своих центрах обработки данных даже больше, чем сами инженеры.
Человеческие ресурсы не следует сбрасывать со счетов, но Кава считает, что использование нейронной сети даст Google возможность достичь нового уровня эффективности серверной фермы, выйдя за рамки того, что инженеры могут видеть и анализировать.
Google уже управляет одними из самых энергоэффективных центров обработки данных на планете.
Использование искусственного интеллекта даст Google возможность заглянуть в будущее и смоделировать тысячи моделей работы своих центров обработки данных.
На заре своего существования нейронные сети позволяли Google прогнозировать PUE с точностью 99,6%.
Эти рекомендации, несмотря на их кажущуюся незначительность, привели к значительной экономии средств, поскольку были применены к тысячам серверов.
Почему Google обратился к машинному обучению и нейронным сетям? Основная причина заключается в том, что центры обработки данных постоянно расширяются, что создает проблему для Google, которая использует датчики для сбора миллионов точек данных об инфраструктуре и энергопотреблении.
«В такой динамичной среде, как центр обработки данных, человеку иногда бывает сложно увидеть все взаимосвязи между системными переменными», — говорит Кава.
«Мы долгое время работали над оптимизацией работы дата-центра.
Все лучшее уже реализовано, но останавливаться нельзя!» 
Знакомьтесь, мальчик-гений
Нейронная сеть Google была создана Джимом Гао, инженером Google, которого коллеги прозвали «мальчиком-гением» из-за его способности анализировать большие объемы данных.Гао проанализировал системы охлаждения, применив принципы гидродинамики и данные мониторинга, чтобы создать 3D-модель воздушного потока внутри серверной комнаты.
Гао считал возможным создать модель, которая отслеживала бы еще больший набор переменных, включая использование ИТ-оборудования, погодные условия, градирни, водяные насосы и теплообменники, которые поддерживают нормальную температуру на серверах Google. «В компьютерах хорошо то, что они могут видеть всю историю, скрытую в данных.
«Джим взял информацию, которую мы собираем каждый день, и пропустил ее через свою модель, чтобы прийти к пониманию сложных цепочек взаимодействия, понять смысл, который рабочие могли не заметить, будучи простыми смертными», — пишет Кава в своем блоге.
«Благодаря серии проб и ошибок модель Джима теперь имеет точность расчета PUE на 99,6%.
Это означает, что теперь он может применять эти модели, чтобы найти новые способы сделать наши действия более эффективными».
На изображении ниже показана корреляция между прогнозируемыми (черная кривая) и фактическими (желтая кривая) изменениями PUE. 
Как это работает
Гао начал работать над машинным обучением как над «20-процентным проектом».Традиционно Google позволяет своим сотрудникам тратить часть своего рабочего времени на разработку инноваций помимо своих основных обязанностей.
Гао не был экспертом в области искусственного интеллекта.
Чтобы изучить ключевые моменты машинного обучения, Гао взял курс в Стэнфорде от профессора Эндрю Нг.
Нейронная сеть имитирует функционирование человеческого мозга, позволяя компьютеру понимать и «обучаться» задачам без необходимости их явного программирования.
Поисковую систему Google часто приводят в качестве примера такого типа обучения, которое также является одним из ключевых направлений исследований компании.
«Эта модель представляет собой не что иное, как набор вычислений дифференциальных уравнений», — объяснил Кава.
«Но вы должны понимать математику.
Модель начинается с изучения взаимодействия переменных».
Для начала Гао необходимо было определить ключевые факторы, влияющие на энергоэффективность в центрах обработки данных Google. Он сузил эти показатели до 19 и разработал нейронную сеть — систему машинного обучения, способную распознавать закономерности в больших наборах данных.
«Огромное количество комбинаций оборудования и настроек затрудняет поиск оптимальной эффективности», — пишет Гао в своем отчете.
«В работающем центре обработки данных задачи могут быть реализованы с помощью множества комбинаций аппаратного обеспечения (механического и электрического) и программного обеспечения (стратегии управления и установки).
Протестировать каждую комбинацию для повышения эффективности практически невозможно — есть ограничения по времени, частые колебания нагрузки в работе ИТ-оборудования, погодные условия, необходимость поддерживать стабильную работу дата-центра».
Работает на одном сервере
Что касается аппаратного обеспечения, по словам Кавы, система не требует невероятной вычислительной мощности и работает на одном сервере и даже может работать на одном высокопроизводительном настольном компьютере.Система была запущена в нескольких дата-центрах Google. Инструмент машинного обучения смог предложить несколько изменений, которые привели к постепенному улучшению PUE, включая улучшение распределения нагрузки по мере увеличения мощности инфраструктуры, а также небольшие изменения температуры охлаждающей воды.
«Недавние испытания в центрах обработки данных Google показали, что машинное обучение является эффективным методом использования существующих показаний датчиков для моделирования распределения энергии в центре обработки данных и приводит к значительной экономии средств», — пишет Гао.
Машины не берут верх
Кава считает, что этот инструмент поможет Google моделировать и улучшать другие проекты в будущем.Но не волнуйтесь, центры обработки данных Google не станут самосознательными в ближайшее время.
Сейчас компания интересуется автоматизацией и даже недавно приобрела компании, занимающиеся робототехникой, но пока ни один из дата-центров Google не работает исключительно на автоматизированном управлении».
«Нам все еще нужны люди, которые смогут принимать правильные решения по этому поводу», — говорит Кава.
«И я все еще хочу, чтобы наши инженеры ознакомились с этими рекомендациями».
Наибольшие преимущества от использования нейронной сети проявятся в ближайшие годы, при строительстве нового сайта-сервера Google. «Я предвижу использование этого принципа при проектировании центров обработки данных», — говорит Кава.
«Эта передовая технология может быть использована как при проектировании, так и при дальнейших усовершенствованиях.
Я думаю, мы найдём другое применение».
Google поделился своим подходом к машинному обучению статья Гао надеется, что те, кто также управляет мощными центрами обработки данных, смогут применить это на практике.
«Этот механизм не является чем-то особенным, что может реализовать только Google или только Джим Гао», — говорит Кава.
«Мне бы очень хотелось, чтобы эта технология использовалась более широко.
Я думаю, что от этого выиграет вся индустрия.
Это потрясающий инструмент, который поможет вам стать максимально эффективными».
Теги: #Машинное обучение #Google #центры обработки данных
-
Эрстед, Ганс Кристиан
19 Oct, 24 -
Линукс -> Гитхаб
19 Oct, 24 -
Бета-Версия Surfingbird Для Ios 2.0
19 Oct, 24 -
Oracle Исправляет 42 Уязвимости Java
19 Oct, 24
