Я не специалист, а просто администрирую небольшую сеть.
Как и любой человек, я допускаю ошибки, поэтому описываю все не так, как должно было быть правильно, а так, как было на самом деле.
Так что, пожалуйста, не смотрите на некоторые «ошибки», которые я допустил в ходе работы, которую выполнял слишком строго.
Введение На дворе 2012 год. Я работаю уже три года в бюджетной организации муниципалитет города Томска.
Если первые полгода нужно было понять и «вписать» в структуру сетевой организации и «что» и «куда» растет с точки зрения сетевого оборудования, то последние 2,5 года пришлось потратить на поддержку серверная «экономика».
И как оказалось, это было совсем немного: лес, состоящий из 25 доменов, на каждый по 1-2 контроллера + 1-2 файловых сервера + сервер с базой данных + роутер, если отдел подключен через стороннюю провайдера (часто роль первых трёх выполнял один сервер, но об этом позже).
И вот так сложились обстоятельства, что оборудование имеет свойство стареть.
При этом последний раз оборудование мы приобретали 12 января 2007 года — два «новых» сервера были уже заметно старше (прошло 5 лет).
А выделения новых средств хватило исключительно на поддержку старых серверов, а именно zip-пакета жестких дисков на случай, если один в рейде выйдет из строя.
На мой постоянный вопрос: «Что будем делать, если само рейдовое поле накрытоЭ» Опытные администраторы пожали плечами.
Однако время шло, аварийных ситуаций становилось все больше, а случалось и так, что два жестких диска в одном рейде в одночасье выходили из строя.
Мы (сотрудники Комитета информатизации администрации города Томска) поняли, что нужно что-то менять.
Либо старые серверы заменяются новыми, либо смотрим в сторону виртуализации.
ВМВЭР.
Знакомство Впервые я познакомился с vmware на 3-м курсе (2004 год), когда пошел работать в местный офис TOMLINE (Zmodem, evg33 - спасибо) именно там я впервые в жизни установил vmware workstation, чтобы поиграть вокруг Linux и FreeBSD и ничего не ломается на работающих серверах.
В то время была жуткая нехватка ни процессоров, ни памяти — и выглядело это очень уныло и бесперспективно.
Проводя аналогию, могу сказать, что примерно таким же образом я познакомился с windows 3.11, когда в 5 классе запустил ее из Norton Commander, посмотрел на «окна», запустил в них краску, а потом закрыл и продолжил используйте его в качестве основной ОС - DOS, мы все знаем, где сегодня DOS, а где Windows =).
Однако время шло, это был далеко не 2009 год, начались конференции и вебинары, посвящённые виртуализации.
Первые эксперименты, внедренные в работу существующей сети, я проводил на vmware Infrastructure — бесплатном ПО от vmware, которое устанавливается поверх windows, в котором можно разворачивать виртуальные машины и оно «знает VLAN».
Далее большую роль сыграл бесплатный вебинар от Максима Мошкова (до сих пор не могу понять lib.ru — его проект?).
Впервые доступным языком объяснили, а главное показали, что такое HA, Failover, DRS и т.д. и продемонстрировали вживую, как это работает и ответили на все мои вопросы (очень часто мне приходится посещать семинары, где менеджеры по продажам много говорят о пустых слайдах, но когда спрашиваешь немного в стороне, они ничего не могут ответить, если читают представители vmware это: пожалуйста, выделите таких специалистов для таких презентаций).
VMWARE: реализация Конец 2009 года выдался весьма интересным.
В результате вступления в должность нового мэра вся мэрия (большая ее часть) перешла на мобильные устройства.
Если раньше требовался только ноутбук с интернетом и покупка точек Wi-Fi на каждый этаж полностью решали все проблемы и нужды, то с приходом нового руководства требования «немного выросли»: появился электронный документооборот. работать на всех мобильных платформах: windows mobile (коммуникаторы), iOs (айфоны уже были и iPad появится чуть позже), симбиан (еще есть любители NOKIA) - и все это должно работать и поддерживать корпоративную почту и, конечно же , «это было необходимо еще вчера».
Тогда я впервые столкнулся с нехваткой серверов.
Сервис нужен.
Сервера нет. Мы зашли в серверную подумать.
Вижу контроллер домена - все как положено на отдельной железке, рядом сервер Oracle - собирает статистику посещений муниципального сайта.
Ну и пришла в голову идея виртуализировать эти два сервера.
И вот только что установленный esxi 4.0, зарегистрированный на сайте vmware, находится в нашей сети.
Как известно, единый гипервизор предоставляется бесплатно после регистрации и это хороший маркетинговый ход. Так в администрации Томска появился первый гипервизор на базе VMware. Выберите VMWARE Если сегодня выбор бренда для виртуализации для меня очевиден, то в 2010 году был очень большой спор: vmware, xen, Hyper-V. Особенно масштабно эта дискуссия развернулась, когда впервые стали возникать вопросы относительно приобретения сайта для виртуализации, а главное, о выделении средств на этот сайт. Каким-то «волшебным образом» об этом узнали крупные поставщики серверного оборудования из соседних городов и начали предлагать и продвигать свои решения.
Здесь стоит отметить настойчивость Microsoft: они молодцы, в далеком сибирском городе о них говорили все чаще.
Многие рекламировали Hyper-V, но при этом постоянно было слышно: вот-вот догоним vmware — про vmware тоже было слышно, но в основном из вебинаров.
А вот что касается XEN, то это был провал, информации (на тот момент) было очень мало.
Я честно установил Hyper-V, но как выяснилось в 2010 году он плохо работал с freebsd, и именно эта операционная система использовалась на серверах, расположенных в демилитаризованной зоне нашей сети, которую тоже планировалось виртуализировать (при этом посещение семинара «облака без бла-бла-бла» от Microsoft 11 апреля 2012 года также показало небольшое отставание между Microsoft и их коллегами из VMware, семинар начался со слов: «Ну что ж, мы догнали vsphere 5.0 в наших новых окнах» сервер 8” то там цифры, цифры, цифры, но выходит, что релиз будет либо в октябре, либо в ноябре, а загрузиться с хранилища всё равно не получается - честно говоря, не понимаю, почему? смотрите на вещи субъективно, но когда вы покупаете хранилище, которое обычно дороже любого сервера и, конечно, у вас есть его поддержка и запасные жесткие диски, зачем использовать локальные жесткие диски на хостах Непонятно? также попытки изучения KVM, но отсутствие клиента для Windows было первым неудобством, которое мне сразу не понравилось.
Итак - VMWARE: всё бы ничего, но вот цена.
По самым скромным подсчётам лицензия будет в районе 500 000, но в ней не будет никакого смысла, если нет хранилища и двух одинаковых хост-серверов для организации отказоустойчивый кластер.
Давайте реализуем это понемногу Мои должностные обязанности были таковы, что в первую очередь мне приходилось отвечать за работоспособность доменного леса в Active Directory. Придя на работу, я обнаружил около 8 «забытых» контроллеров и 2 «ненужных» домена.
И если в головном домене (так сказать) вроде бы все было хорошо, то в журнал службы каталогов каждый день сыпались ошибки.
Изучив причины некорректного удаления контроллеров домена, стало ясно: проблемы начинаются, когда на контроллер домена транслируются задачи, которые он не должен выполнять.
Логично разделить контроллер домена, контроллер резервного копирования, файловый сервер, антивирус и т. д. на разные сервера, но как это сделать, если физический сервер один? Здесь на помощь приходит vmware со своим гипервизором esxi: на одном физическом сервере мы запускаем столько операционных систем, сколько необходимо, но все равно зависим от оборудования.
Если что-то случится с рейд-массивом, памятью или материнской платой, произойдет некоторый простой, а поскольку контроллер домена будет недоступен, возникнут определенные трудности.
Встал вопрос о создании выделенного сервера для резервного копирования контроллеров на базе esxi. 
Большинство корпоративных сетей устроено таким образом (сеть администрации города Томска не является исключением), что каждое ведомство заходит по своей оптике и живет в своей подсети (в своем VLAN).
Если в основной структуре организовать сервер на esxi с виртуальными машинами и перенести туда существующие VLAN, то можно будет создать резервный контроллер домена, о котором даже не будут знать некоторые «локальные» администраторы, который будет располагаться в те же подсети, что и основные контроллеры.
В этом случае, если что-то случается с основным контроллером (как показывает практика, это происходит стабильно раз в месяц в одном домене), то пользователи заходят на второй, всегда есть возможность развернуть ДХЦП, но если все будет с основным совсем плохо (сгорела материнская плата - у нас такое было), захватываем роли и чистим данные о старом сервере с помощью ntdsutil. В любом случае это проще, чем создавать новый домен с нуля, а потом добавлять в него компьютеры и т. д. (и у нас такое было).
Собственно, развернуть отдельный esxi-хост и установить на него такие «резервные контроллеры» получилось довольно быстро.
Уже год стабильно работает и все к этому привыкли.
Автономный хост — это здорово.
Но мне хотелось увидеть все прелести High-Availability. А если сферу (vmware vsphere) можно было использовать 60 дней, то где взять хранилище? Здесь на помощь приходят freenas и iscsi. В принципе хорошее решение, но добиться от него стабильности и высокой производительности не удалось.
Я не буду вдаваться в подробности; статья не об этом.
Проблемы начались в ноябре 2011 года.
Каждые выходные (создаются резервные копии, увеличивается активность дисков) рейд-массивы начали работать «некорректно»: либо жёсткий диск отключается, либо загружается всего 3 раза.
Проблемным оказался один из жестких дисков, но к тому моменту, когда с ним разобрались, нервов было испорчено немало.
А когда это происходит на основном файловом сервере, это особенно печально.
А тут еще «кризис космоса»: надо бэкапить 500 ГБ, а некуда.
Итак, вам придется подключить к серверу внешний IDE-жесткий диск, но из-за отсутствия блока питания IDE пришлось держать его с открытой крышкой и питать от обычного компьютера.
Это приводило к перегреву жестких дисков, не прикрытых вентиляторами.
Пришлось снять пластину, закрывающую слот расширения, и протянуть IDE-кабель через образовавшееся окно.
Крышка закрылась, жесткий диск IDE оказался сверху, температура жестких дисков в сервере упала, глюки прекратились.
И все это в ожидании нормального хранения.
Лето 2011: в рамках целевой программы появляется возможность обновления серверного оборудования.
Мы провели два аукциона и приобрели один мощный сервер и хранилище.
И мы заложили в бюджет 2012 года, что в январе будет еще один аукцион на второй такой сервер, а во втором квартале мы купим, опять же через аукцион, программное обеспечение для виртуализации.
Кстати, благодаря аукциону мы сэкономили 9,5% от начальной цены.
В итоге все было успешно получено и запущено в марте 2012 года.
Железо
В результате мы получили:
Серверы
Платформа Intel 1U SR1695WBA (LGA1366, i5500, PCI-E, SVGA, SATA RAID, 4xHotSwapSAS/SATA, 2xGbLAN, 8DDR-III, 2*450 Вт); Intel Xeon X5675; 64 ГБ ОЗУ – 2 шт.
Контроллеры:
Адаптер LSI Logic Host Bus SAS 9205-8e SGL (LSI00285) – 2 шт.
Qlogic iSCSI Dual Prt PCIe HBA — 3 шт.
Система хранения
Сервер LSI ACC DRIVE CHASSIS/CDE 2600-12 со встроенным iSCSI и Raid-контроллером LSI SERVER ACC Raid ISCSI SAS CRU/2600 2 Гб M102248 — 1 шт.
СЕРВЕРНЫЙ ACC HDD 2TB 7.2k SAS/44354-00 M102349 PACL LSI – 12 шт.
Идея: перенести все высоконагруженные серверы в отказоустойчивый кластер, состоящий из двух хостов (двух новых серверов), которые будут подключаться к хранилищу по SAS; освободившиеся серверы (более новые, имеющие слот PCIe) будут подключены к хранилищу по iscsi (еще 4 сервера).
Как видите, на оптику денег не хватило, а вот с SAS вроде бы все в порядке.
В то же время компания LSI объявила о выпуске коммутатора SAS HBA, который позволит подключить к СХД еще больше серверов по SAS. Из 3 заказанных iscsi плат только одна оказалась полностью работоспособной!!! Один сразу не увидел хранилище, второй, как выяснилось позже, не дает загрузиться из хранилища.
HBA SAS появился месяц спустя.
Они работали без проблем.
На данный момент из хранилища загружаются три хоста.
Ждем пока заменят по гарантии QLogic 
выводы
По итогам внедрения VMWARE vSphere 5.0 в корпоративной сети муниципального образования Томск можно сделать следующие выводы:
1. Повышена отказоустойчивость критических серверов за счет создания кластера High-Availability.
2. Возможность живой миграции позволяет проводить регламентные работы без остановки работы критически важных серверов.
3. Снижение энергопотребления с 5,3 кВт/ч до 3,8 кВт/ч (экономия 60 000 руб.
в год).
4. Простота администрирования: единая консоль управления, нет «привязки» к оборудованию.
В общем, если у вас 3 и более отдельных серверов, то виртуализировать однозначно стоит. VMWARE: PSOD приходит к нам Все настроено и работает. В результате миграции были отключены 6 старых серверов.
В планах еще 5. Не может не радовать легкость миграции виртуальных машин, которых уже 34. В общем, виртуализация очень расслабляет — но уж точно упрощает жизнь администратору.
И вот наступил вторник, 24 апреля 2012 года.
Как обычно прихожу на работу и вижу тревогу от Nagios, что один из хостов недоступен.
Монитор показал мне такую картинку: 
Немного гугла и все в принципе понятно сообщества.
vmware.com/thread/311457Эstart=0&tstart=0 (в целом база знаний vmware радует, чего нельзя сказать об их центре загрузок).
Но у нас есть обязательная поддержка.
По условиям Vmware поддержка оказывается только после регистрации продукта: ок, регистрируемся.
Получаем еще один интересный скриншот. 
Связываемся с поставщиками, они рекомендуют отправить нам письмо: [email protected]
Мы пишем письмо.
Мы получаем ответ. Благодарим вас за запрос в службу поддержки лицензирования VMware. Ваш номер запроса на поддержку: 12167833904. Специалист поддержки лицензирования ответит на ваш запрос в течение 12 часов.
Сейчас прошло 12 часов, но ответа нет. Жаль.
Ну, это в принципе все.
Сегодня утро 25 апреля.
Вот и подошел к концу этот скромный очерк об опыте внедрения VMWARE vSphere 5.0 на примере муниципалитета Томска.
Если у вас есть вопросы, предложения или желание обменяться опытом, пишите на [email protected], постараюсь ответить всем.
Спасибо, что дочитали эту статью до конца.
Теги: #Виртуализация #vmware #корпоративная сеть #корпоративная сеть #муниципалитет Томска
-
Обзор Принтера Brother Mfc-9325Cw
19 Oct, 24 -
Красной Таблетки Не Существует
19 Oct, 24 -
Дайджест Joomla За Июнь-Июль 2019 Года
19 Oct, 24 -
Пицца По Смс
19 Oct, 24 -
Простота В Дизайне. Эпизод 1. Червь Уорхола
19 Oct, 24
