World Wide Grid – Будущее Уже Здесь

XXI век может стать эпохой массового внедрения грид-технологий.

Счастливое человечество стоит на пороге очередной компьютерной революции, результатом которой станет трансформация привычной нам сегодня WWW (World Wide Web — Интернет) в WWG (World Wide GRID — всемирная грид-сеть).

Волшебная грид-среда, способная виртуализировать процессоры, память и коммуникации, обещает превратить все мировые вычислительные ресурсы в своего рода гигантский мультипроцессор с практически неограниченной вычислительной мощностью.

Информатизация сегодня вступает в четвертый этап своего развития.

Первый был связан с появлением больших компьютеров (мэйнфреймов), второй – с персональными компьютерами, третий – с появлением Интернета, объединившего пользователей в единое информационное пространство.

Первое десятилетие XXI века, по мнению многих экспертов, знаменует собой начало перехода к новым грид-технологиям.

Однако конкретные формы и механизмы этого «великого перехода к WWG» до сих пор четко не определены.

Среди апологетов грид-технологий до сих пор нет единого мнения, будет ли WWG создаваться на базе уже существующих возможностей Интернета или вообще «в чистом поле» — как универсальная система для эмуляции персональных компьютеров, пользователи которой не будут нужен либо полноценный компьютер, либо собственное программное обеспечение.

Множество нерешенных вопросов остается в сфере стандартизации протоколов, интеграции разнородных вычислительных ресурсов, обеспечения безопасности хранения и передачи данных.

Суперкомпьютер из розетки Грид-компьютинг начал формироваться прежде всего как интегратор вычислительных ресурсов для решения различных «ресурсоемких» научных задач.

Идея более эффективного использования вычислительных мощностей за счет объединения множества компьютеров в единую структуру возникла в научном сообществе сравнительно давно – в эпоху мэйнфреймов (больших ВМ).

Уже в 80-е годы учёные (в первую очередь физики-ядерщики) пытались объединить различные рабочие станции друг с другом и использовать бесплатные центральные процессоры для сокращения времени обработки при решении сложных математических задач.

В 1994 году был запущен проект по созданию всемирной компьютерной сети GLORIAD (аббревиатура Global Ring Network for Advanced Application Development, Global Ring Network for the Development of Applied Research) — оптоволоконного кольца в Северном полушарии, объединяющего вычислительные ресурсы различных исследовательских организаций США, Канады, Европы, России, Китая и Южной Кореи (опять же в основном физические центры).

Россия присоединилась к этому проекту в 1996 году, и сегодня нашу страну в нем представляют Российский исследовательский центр «Курчатовский институт» и Российский научно-исследовательский институт развития сетей общего пользования.

Тем не менее формально авторами концепции сетки считаются Ян Фостер из Арагонской национальной лаборатории Чикагского университета и Карл Кессельман из Института компьютерных наук Университета Южной Калифорнии.

Именно Фостер и Кессельман в 1998 году впервые предложили термин грид-вычисления для обозначения универсальной программной и аппаратной инфраструктуры, которая объединяет компьютеры и суперкомпьютеры в географически распределенную информационную вычислительную систему.

Согласно их теперь уже классическому определению, «грид — это последовательная, открытая и стандартизированная среда, обеспечивающая гибкое, безопасное и скоординированное совместное использование ресурсов внутри виртуальной организации».

Термин грид-вычисления был введен по аналогии с термином «электрическая сеть».

Пользователи компьютерных мощностей получат возможность напрямую подключаться к удаленной компьютерной сети (а также к электричеству через бытовые розетки), не беспокоясь о том, откуда именно берутся необходимые для работы вычислительные ресурсы, какие линии электропередачи для этого используются.

, и т. д. Основные элементы ресурса Грид-системы — это суперкомпьютеры и суперкомпьютерные центры, а важнейший компонент инфраструктуры — высокоскоростные сети передачи данных.

Суперкомпьютеры, не интегрированные в географически распределенную систему, имеют как минимум три существенных недостатка.

Во-первых, это очень дорогая технология, которая быстро устаревает (суперкомпьютеры из первой сотни рейтинга Топ-500 через два-три года, как правило, оказываются в самом низу этого списка или вообще выпадают из него).

Во-вторых, это «статичность» вычислительных мощностей суперкомпьютеров, практически не поддающихся серьезной модернизации; зачастую это не позволяет использовать их для решения задач нового уровня сложности.

И, наконец, третий «большой минус» — низкая эффективность суперкомпьютеров из-за неравномерной загрузки процессоров.

В идеале эти недостатки можно устранить, объединив суперкомпьютеры в грид-сеть.

Однако для эффективной эксплуатации грид-систем сначала необходимо достичь консенсуса в области стандартизации (определения стандартов сервисов, интерфейсов, баз данных и т. д.).

Распределение вычислительных сред Авторы идеи грид-вычислений Фостер и Кессельман также стояли у истоков разработки первого стандарта проектирования грид-систем — свободно распространяемого программного инструмента с открытым исходным кодом Globus Toolkit. Для дальнейшего развития Globus Toolkit в 1999 году была создана специальная организация Global Grid Forum (GGF), в которую наряду с академическими организациями вошли многие производители компьютерных систем и программного обеспечения.

В 2002 году GGF и корпорация IBM в рамках версии Globus Toolkit 3.0 представили новую разработку системы — Open Grid Services Architecture (OGSA), которая включила в грид концепции и стандарты веб-сервисов.

В этой архитектуре грид-сервис определяется как особый тип веб-сервиса, позволяющий работать с грид-ресурсами на основе стандартных интернет-протоколов.

В настоящее время ведущие игроки компьютерного рынка активно адаптируют Globus Toolkit к своим основным продуктам с использованием технологий бизнес-вычислений, в частности IBM и двух столпов ERP-технологий — Oracle и SAP. При этом, помимо самого популярного сегодня проекта Globus, параллельно разрабатываются и другие грид-стандарты — например, Legion, Condor и Unicore. Так, в 2004 году у GGF появился новый серьезный конкурент — консорциум Enterprise Grid Alliance (EGA), в который вошли, среди прочих, такие «монстры», как Fujitsu Siemens Computers, Hewlett-Packard, Intel, NEC, Oracle, Sun Microsystems, EMC. .

Более того, если основной задачей GGF была разработка требований к сетям для производителей ИТ-решений, то EGA изначально была «заточена» под нужды корпоративных пользователей.

В конце июня 2006 года GGF и EGA, успевшие попортить друг другу нервы, официально объявили о своем слиянии и создании Open Grid Forum (OGF).

Как отметил новоназначенный президент и генеральный директор OGF Марк Линеш, ранее занимавший пост председателя совета директоров GGF: «Этот шаг позволит консолидировать сообщество сторонников грид и более эффективно сотрудничать с основными участниками этого рынка в разных странах.

Мы сможем выступить единым фронтом по всем вопросам, связанным с разработкой и внедрением гридов и распределенных вычислительных сред».

Конечно, это счастливое слияние не означает, что универсальная стандартизация сетевых технологий теперь решена.

Одним из самых больших препятствий на пути триумфального внедрения сетевых сетей была и остается традиционная модель лицензирования программного обеспечения, при которой клиенты платят в зависимости от количества процессоров, на которых выполняется приложение.

Грид фактически разрушает эту модель, поскольку внутри нее ни один центральный процессор не имеет стабильной связи с конкретным приложением.

Пока ни один поставщик программного обеспечения открыто не заявил о своем намерении изменить свою модель ценообразования с учетом новой специфики грид-вычислений.

Еще одним «провисшим» элементом конструкции глобальной сети является почти полное отсутствие стандартизации коммерческого программного обеспечения для сетей.

Дело в том, что одной из характеристик первых приложений грид-вычислений (используемых в научных вычислениях) является независимость выполнения одной задачи от результата решения другой .

Например, в приложениях с большими сетками для сложных математических вычислений вычисления разбиваются на независимые части, которые можно «сложить» в любой момент. Однако многие корпоративные приложения тесно связаны: одно вычисление или процесс не может продолжиться, пока не завершится другое.

По мнению Яна Фостера, «подходы, основанные на открытых стандартах (такие как Globus Toolkit), в конечном итоге превратят грид в основное направление развития корпоративных информационных инфраструктур», но эксперты пока не рискуют давать точные прогнозы относительно сроков этого «поворота корпоративных ИТ».

точка.

" Поиск внеземного разума Гораздо успешнее грид-технологии развиваются в научной и образовательной сфере, что во многом объясняется активной финансовой поддержкой различных грид-проектов со стороны государственных органов.

Грид-сети сегодня используются в самых разных фундаментальных научных исследованиях и проектных работах.

«эволюция протопланетного вещества, планет и Земли, геномика и протеомика, общее метеорологическое прогнозирование и прогноз различных природных катаклизмов (цунами, землетрясения, извержения вулканов), моделирование и анализ экспериментов в области ядерной физики, ядерного оружия, нанотехнологий, проектирования аэрокосмической техники».

транспортные средства и автомобили и т. д. и т. п.

— вероятно, скоро будет проще назвать научную дисциплину, где еще не используются суперкомпьютеры и распределенные вычисления.

Поэтому ниже мы ограничимся лишь списком наиболее серьезных сетевых проектов, которые уже были реализованы за последние несколько лет или находятся в стадии реализации.

В 2001 году в США стартовал проект TeraGrid, финансируемый Национальным научным фондом (NSF), основной целью которого было создание распределенной инфраструктуры для высокопроизводительных (терафлопсных) вычислений.

В мае 2004 года Евросоюз создал аналог американской TeraGrid — консорциум DEISA (Распределенная европейская инфраструктура для суперкомпьютерных приложений).

частично финансируется программой 6th Framework, которая соединила ведущие национальные суперкомпьютерные центры ЕС в грид-сеть.

В конце марта 2004 года завершился трехлетний проект European DataGrid (EDG), в рамках которого была построена тестовая инфраструктура вычислений и обмена данными для нужд европейского научного сообщества.

На основе этих разработок был запущен новый международный проект по организации высокопроизводительной грид-сети Enabling Grids for E-scienceE (EGEE), который реализуется под руководством швейцарского ЦЕРН (Европейский центр ядерных исследований, Женева).

) и финансируется Европейским Союзом и правительствами стран-участниц.

В настоящее время в проект входят 70 научных учреждений из 27 стран, объединенных в 12 федераций.

В рамках этого проекта будет построена крупнейшая в мире грид с общей вычислительной мощностью 20 000 процессоров.

Ведущая роль ЦЕРН определяется тем, что в 2007 году он планирует запустить крупнейший в мире ускоритель частиц (БАК, Большой адронный коллайдер), который станет источником огромных объемов информации.

Новая компьютерная инфраструктура, создаваемая в первую очередь для БАКа, должна будет обеспечить эффективную обработку информации, ожидаемый среднегодовой объем которой оценивается в 10 петабайт (1 петабайт = ~10 15 байт).

Однако цель EGEE далеко не ограничивается ядерной физикой и заключается в реализации потенциала сети для многих других областей науки и техники.

Так, в ближайшие планы руководства проекта входит создание отдельного биоинформационного «сетчатого блока».

В тесном сотрудничестве с проектом EGEE также развивается европейская магистральная сеть для образования и науки – GEANT. В середине прошлого года межправительственная организация DANTE объявила о запуске научно-образовательной сети нового поколения GEANT 2, охватывающей 3 млн пользователей из 3,5 тыс.

академических учреждений, расположенных в 34 европейских странах (включая Россию).

Новая сеть качественно изменит обработку информации с радиоастрономических комплексов, системы регистрации которых расположены на значительном расстоянии друг от друга, а также будет обслуживать часть процессов передачи данных после запуска БАКа.

Под руководством Пенсильванского университета США на основе грид-технологий создан Национальный центр цифровой маммографии с общим объемом данных (маммограмм) 5,6 петабайт, что обеспечивает врачам мгновенный доступ к записям миллионов пациентов.

Стоит упомянуть проект SETI@home, инициированный астрономами Калифорнийского университета в Беркли.

В рамках этого проекта создана виртуальная грид-сеть, которая регулярно анализирует данные радиотелескопа Аресибо в Пуэрто-Рико с целью поиска внеземного разума.

Через Интернет SETI объединила вычислительные мощности более 5 миллионов персональных компьютеров и уже проделала вычислительную работу, эквивалентную более чем 600 тысячам лет работы ПК (однако никакой информации о найденных инопланетянах от координаторов проекта пока не поступало).

Китай стартует и может победить Соединенные Штаты сегодня являются бесспорным мировым лидером в практическом строительстве сетевых сетей.

В 2004 году Джордж Буш официально объявил о запуске президентской стратегической программы GRID (Strategic Grid Computing Initiative), основной целью которой является «создание единой национальной высокопроизводительной вычислительной среды» (National High Performance Computing Environment).

На сегодняшний день в США под пристальным вниманием ключевых правительственных ведомств уже успешно работают четыре национальные грид-сети: компьютерная сеть Национального фонда научных исследований (NSF Comp. Grid), NASA Information Power Grid, глобальная информационная сеть сеть министерства обороны (DOD GI Grid) и сеть суперкомпьютерных инициатив Министерства энергетики (DOE ASCI Grid).

Частные американские компании также вносят значительный вклад в процесс «всеобщей гридизации».

Проект Sun Grid компании Sun Microsystems, запущенный в прошлом году, является весьма оригинальным проектом: компьютерное время сети центров обработки данных, содержащей в общей сложности около 10 тысяч процессоров, компания арендует по ставке 1 доллар за пользование.

одного процессора в час.

Продажа времени Sun Grid осуществляется компанией по договору через Чикагскую электронную биржу Archipelago Holdings. Через него покупатель может продать неиспользованные часы.

Кроме того, Sun предлагает услуги хранения данных по цене 1 доллар за гигабайт в месяц.

Услуга предлагается организациям, периодически нуждающимся в значительной вычислительной мощности.

Концепция грид-вычислений Oracle предполагает использование грид-сети в качестве универсальной системы управления данными на базе базы данных Oracle 10G. Специальная функция ASM (Automatic Storage Manager) позволяет виртуализировать наборы дисков в один виртуальный диск, возложив на Oracle функции файлового и томового менеджера.

Сам Oracle работает с этой группой дисков (виртуальных дисков), размещая на них свои файлы и управляя ими.

Oracle разбивает все пространство этого виртуального диска на равные части по 1 МБ и создает из этих частей файлы виртуальной базы данных, табличные пространства, тома и т. д. Особняком среди длинного списка грид-проектов стоит проект построения глобальной грид-системы, продвигаемый Google. Модель Google представляет собой трансформацию вычислений в потребительскую услугу, аналогичную электроснабжению (что во многом перекликается с идеей, реализованной Sun Microsystems).

В каком-то смысле Google возвращается к большой архитектуре виртуальных машин.

В рамках этого проекта все компьютерные устройства (ПК, мобильный телефон, телевизор и т. д.) станут просто терминалами, которые будут включены в серверную сетку Google со службами приложений.

Иными словами, Google сегодня пытается позиционировать себя как универсальную систему доставки приложений на любое устройство в любой точке мира и тем самым стать реальной альтернативой обычному персональному компьютеру.

Стратегически важное конкурентное преимущество проекта Google — снижение стоимости обработки небольшого количества информации.

Для решения этой проблемы Google активно продвигается по формированию корневой транспортной системы и готовит территории для размещения огромных серверных ферм с прямым доступом к ведущим мировым операторам связи.

(По неподтвержденной информации, в 2005 году в условиях повышенной секретности компания Google провела масштабные работы по установке 4 тысяч морских контейнеров с процессорными серверными стойками в различных частях мирового океана.

) Это позволит компании существенно сократить расходы на телекоммуникации.

затраты и обеспечить контроль над доставкой большей части контента и глобального интернет-трафика.

Комментируя деятельность Google, один из ведущих российских экспертов в области грид-технологий Владимир Рубанов в разговоре с корреспондентом «Эксперта» отметил: «Финансовый результат от этих усилий гуглеров уже очевиден: если вернуться в В декабре 2004 года рыночная капитализация Google составляла 28 миллиардов долларов, затем уже в декабре 2005 года она выросла до 138 миллиардов! Этот рост ясно демонстрирует, насколько укрепилась на Западе уверенность в перспективах сетевых технологий.

Иными словами, крупный бизнес сегодня делает ставку на развитие этих технологий и готов вкладывать в них огромные финансовые ресурсы».

В последние годы большое внимание грид-технологиям уделяет и руководство Евросоюза, серьезно обеспокоенное наметившимся отставанием от США в этой области.

В 2005 году Европейская комиссия подготовила специальную программу стоимостью 13 миллиардов евро, в рамках которой грид-вычислениям отводится роль стимулятора и важнейшего ресурса для превращения Евросоюза в «наиболее конкурентоспособную экономику знаний в мире».

С 2000 года в Китае ведутся работы по развитию грид-технологий.

Долгое время информация о том, на каком этапе находится реализация проекта ChinaGrid, фактически была засекречена.

Информационная бомба взорвалась в середине июля 2006 года, когда китайские СМИ публично объявили о завершении работ над China Educational Grid Project (CEGP).

CEGP соединила компьютерные сети нескольких десятков крупнейших университетов страны и предоставила миллионам китайских студентов прямой доступ к базам данных, онлайн-курсам обучения и сервисным приложениям в самых разных областях и дисциплинах.

Как считает Владимир Рубанов, «китайцы уже создали материальную и инфраструктурную базу для прорыва в образовательной сфере.

Им больше не нужно регулярно тратить тысячи долларов на покупку новых компьютеров взамен устаревших — им достаточно приобрести интернет-коммуникаторы (PIC) всего за 150–200 долларов, а затем получать все необходимые ресурсы из сетевой сети.

Например, присоединиться к реализации Программы 50–15, активно продвигаемой сегодня американской компанией AMD (обеспечить доступ в Интернет с помощью дешевых интернет-приставок для 50% населения планеты к 2015 году.

— «? Эксперт»).

» В январе 2006 года в Афинах был официально запущен проект EUChinaGRID, финансируемый Европейской комиссией.

Его основная цель — объединить европейскую и китайскую грид-инфраструктуры для повышения эффективности совместного использования различных научных приложений, работающих в грид-среде.

Формирующийся стратегический альянс между ЕС и Китаем можно рассматривать как одну из первых попыток создать сильный «сетевой противовес» претензиям США на глобальное лидерство в этой крупномасштабной технологической гонке.

Вскоре к этому альянсу может присоединиться Индия, которая также объявила о запуске собственной Национальной инициативы по грид-вычислениям GARUDA, которая предусматривает интеграцию 17 крупнейших исследовательских центров страны в грид-сеть.

Зеленый свет для российской сети На сегодняшний день национальные программы развития грид-технологий в том или ином виде реализуются практически всеми технологически развитыми странами.

В России такой сетевой программы до сих пор нет. До середины этого года все, чем могла похвастаться Россия в сфере государственной поддержки развития грид-технологий, по сути ограничивалось двумя ведомственными программами - Минатома и РАН, принятыми еще в 2003 году.

В июне 2006 года правительство России окончательно одобрило предложение Минобрнауки о разработке проекта новой суперкомпьютерной программы «СКИФ-ГРИД» Союзного государства России и Белоруссии.

Приказом Михаила Фрадкова от 7 июня Минобрнауки поручено внести в Совет предложение о разработке проекта программы «Разработка и использование программно-технических средств ГРИД-технологий и перспективных суперкомпьютерных вычислительных систем семейства СКИФ».

министров Союзного государства.

Благодаря этому решению головные разработчики семейства суперкомпьютеров СКИФ — Институт программных систем Российской академии наук (ИПС РАН) в Переславле-Залесском и Объединенный институт проблем информатики Национальной академии наук Беларуси ( УИПИ НАН Беларуси) - наконец получил добро на проведение дальнейших исследований.

Однако даже этот проект, предусматривающий создание в ближайшие несколько лет старых моделей кластеров персональных серверов, имеет лишь косвенное отношение к грид-технологиям.

Кластеры персональных серверов — сочетания вычислительных мощностей компьютеров и суперкомпьютеров в рамках высокоскоростной локальной сети — несмотря на ряд несомненных преимуществ перед «обычными» суперкомпьютерами, однородны (состоят из систем, имеющих одинаковую базовую структуру).

В этом их принципиальное отличие от компьютерных грид-сетей, позволяющих объединять в единую вычислительную цепочку разнородные вычислительные ресурсы, формально не связанные общим программным обеспечением и не требующие централизованного администрирования.

Мощь новой глобальной энергосистемы будет такой, что – по крайней мере теоретически – ее координаторы смогут отслеживать и анализировать любой «щелчок мыши» на каждом компьютере, подключенном к энергосистеме.

А это прямая дорога к перехвату интеллектуальной собственности, к быстрой утечке идей и т. д. По мнению г-на Рубанова, единственным разумным ответом на вызов такой глобальной грид-инфраструктуры должно стать «построение национальной грид-сети, которую мы сделаем целостной и управляемой, взаимодействующей по определенным правилам с глобальной, по другим другими словами, между национальными и глобальными сетями».

инфраструктура должна создать контролируемую зону для обмена информацией».

Для создания такой национальной энергосистемы необходимы три важнейших компонента: программные продукты, вычислительная мощность и связь.

Более того, наиболее важным элементом этой новой инфраструктуры сегодня являются коммуникации.

Все концепции и подходы к построению глобальной грид-системы реализуются сегодня (грид как вычислительный сервис — Sun Microsystems; грид как система эмуляции персонального компьютера и замены его интернет-коммуникатором — AMD; грид как единая операционная система, сочетающая в себе вычислительные мощности в глобальный суперкомпьютер — Google Grid как виртуальная организация, образующая однородное пространство взаимодействия ИКТ — Oracle) требуют высокоскоростных сетей.

Создание выделенной высокоскоростной сети передачи данных для грид-систем является ключевым элементом снижения стоимости обработки небольшого объема информации и главным преимуществом в ценовой конкуренции глобальных проектов.

И именно участие в создании коммуникационной инфраструктуры глобальных грид-вычислений является, пожалуй, последним шансом для достойного включения России в трансформацию глобального инфокоммуникационного пространства.

— по материалам эксперта --- Теги: #сетка #сетка #Интернет #Google #Чулан

Последнее изменение: 2024-10-19 21:10:22

Вместе с данным постом часто просматривают: