У каждого администратора однажды перестает отвечать определенный сервер на другом конце города.
В пятницу вечером вам предстоит ехать по грязному весеннему городу, так как пациент недоступен через Интернет и рядом нет вменяемого персонала.
Помню, как в одном из таких случаев было обидно увидеть «Нажмите F1, чтобы продолжить»: ИБП вышел из строя, а старый ProLiant после перезагрузки посчитал его «Power Supply Failed».
Ну надо было забыть отключить уведомление, ожидая реакции в биосе! Но здесь будет не ода IPMI, а несколько личных граблей и хитростей по удаленному восстановлению сетевого и серверного оборудования.
Удаленная настройка сети – в дальнюю дорогу Например, мне лень ехать куда-то далеко, чтобы обновить прошивку роутера или добавить несколько правил в пограничный фаервол, поэтому я делаю это удаленно.
Здесь важно отнестись к процессу крайне внимательно и тщательно продумать каждый шаг, чтобы вдруг не оказаться отрезанным как от консоли настройки, так и от сети в целом.
От подобных ошибок защищает резервный канал на дополнительном роутере или автоматический откат неверных настроек.
Вариант с настройками более интересен, поэтому расскажу немного подробнее о способах сохранения устройств, попавших в руки.
Серия D-link DFL
Серия DFL имеет мало общего с обычным D-link и его странными глюками - сами устройства и их ПО разработаны компанией Clavister.
Такие устройства имеют простой механизм защиты: если после применения настроек администратор не сможет повторно подключиться к веб-интерфейсу, новые настройки не сохраняются.
Надежный как штык и никаких дополнительных движений.
Микротик
Продукция наших прибалтийских братьев имеет режим Безопасный режим .Поскольку все изменения, внесенные в конфигурацию, применяются сразу, их необходимо вносить только в безопасном режиме, а затем корректно перевести устройство в обычный режим.
Только после обратного переключения будет записана новая конфигурация.
Если безопасный режим не был отключен до завершения сеанса настройки, то через 9 минут конфигурация будет заменена на ту, которая работала до включения безопасного режима.
Циско
Относительно недавно Cisco добавила механизм автоматического отката настроек по таймеру, если был настроен архив конфигурации.Прежде чем вносить важные изменения, вам просто нужно установить время, по истечении которого устройство отменит настройки:
Где X — время в минутах.configure terminal revert timer X
Вы можете отключить таймер после успешного применения настроек командой настроить подтверждение .
Дополнительные примеры и подробности можно найти в Документация Cisco .
При отмене неудачного процесса обновления прошивки дела обстоят сложнее.
Если нет полностью независимого канала до удаленного филиала, где вы хотите обновить ПО роутера, лучше воспользоваться возможностью и сделать все лично.
Больше загрузок, хороших и разных Если для конкретного сервера нет IP-KVM или канал недостаточно широк для удаленной работы с ISO-дистрибутивом, то стоит рассмотреть альтернативные способы загрузки инструментов восстановления.
В качестве примитивного решения можно разместить рядом с серверной стойкой загрузочную флешку с набором привычных утилит. Активировать этот аварийный комплект можно с помощью Умных рук – самого «техничного» сотрудника отделения, который будет нажимать кнопки по вашему указанию.
Конечно, самый популярный способ удаленной загрузки начинается с веб-интерфейса модуля BMC. На всякий случай напоминание о BMC BMC (Baseboard Management Controller) представляет собой мини-компьютер, установленный на серверной плате и работающий автономно, даже если вся система выключена.
С помощью этого устройства осуществляется диагностика и управление сервером по нескольким доступным протоколам, самый известный из которых — IPMI. В зависимости от производителя и модели сервера модуль управления может предоставлять доступ к консоли через IP-KVM. Особым случаем реализации BMC являются:
- HPE iLO.
- Леново ИММ.
- Делл iDRAC.
Но еще интереснее загрузка инструментов восстановления через PXE:
Инструкция для этого случая Написано много, поэтому отмечу лишь, что при использовании BMC без IP-KVM без вопросов нужно настроить запуск образа.
Для сетевой загрузки не обязательно иметь отдельный сервер.
Например, уже упомянутые роутеры Mikrotik вполне себе справится и с распространением изображения по сети.
С их помощью можно даже сделать готовый «спасательный модуль» с резервным беспроводным каналом и разными образами.
Тогда команда IPMI для включения загрузки PXE будет выглядеть примерно так: ipmitool -H <ip> -U <user> -P <pass> chassis bootdev pxe
Другие способы управления загрузкой через IPMI можно найти в этот материал .
Внимание следует уделить самому изображению.
Помимо обеспечения доступа к запускаемой системе по сети, необходимо не забыть любимый набор утилит для реанимации.
Я обычно использую Microsoft ДаР Т , поэтому я расскажу вам об этом подробнее.
Используя DaRT, вы можете восстановить любую проблемную систему Windows, но многие люди используют этот инструмент только локально.
Чтобы исправить ситуацию удаленно, кому-то из местных необходимо запустить на пациенте инструмент «Удаленное подключение» и предоставить вам данные билета (адрес, порт и номер).
Затем вы сможете подключиться к системе с помощью DaRT Remote Connection Viewer и выполнить все необходимые процедуры восстановления.
Файл с данными билета после запуска Remote Connection создается в Windows\System32\inv32.xml .
Более продвинутый вариант, не требующий чьей-либо помощи.
Для автоматической поддержки удаленного подключения готовый образ из Интернета не подойдет — его придется создать вручную:
- Загрузите инструмент для создания изображений;
- На этапе Удаленное подключение включите его;
- Создаем образ и соединяем его;
- Отредактируйте файл Windows\System32\winpeshl.ini:
[LaunchApps]
"%windir%\system32\netstart.exe -network -remount"
"cmd /C start %windir%\system32\RemoteRecovery.exe -nomessage"в этой строке нужно скопировать файл %windir%\system32\inv32.xml в сетевую папку или //отправить его по почте админу"
"%windir%\system32\WaitForConnection.exe"
"%SYSTEMDRIVE%\sources\recovery\recenv.exe"После всего этого собираем изображение обратно.
Остается только взять файл inv32.xml из сетевого хранилища и предоставить данные средству удаленного подключения.
Без аппаратного контроля сложнее избежать поездок Практически все производители серверов снабжают свою продукцию модулем управления оборудованием (BMC).
Но некоторые функции продаются отдельно, поэтому обязательно купите лицензию или ознакомьтесь с бесплатным набором инструментов.
Например, консольные команды обычно доступны бесплатно.
Если на BMC установлен IP-KVM, то в большинстве случаев вам удастся перезагрузить систему и загрузиться по сети или с ISO-образа.
И все это без использования рискованного ресурса Smart Hands. Кстати, «самый умный сотрудник» легко может сказать что-то вроде «Мы учили немецкий в школе — я не понимаю, что здесь написано», что разрушит весь хрустальный мир аварийного восстановления.
Но есть и приятные исключения.Важные моменты по настройке BMC для удаленного доступа Вы должны думать о соединении через BMC как о своего рода бэкдоре, который отличается от уязвимости только тем, что все это служит вашим целям.В одной чрезвычайной ситуации я попросил самого разбирающегося в компьютерах сотрудника ответить на звонок.
Яркий восточный акцент из трубы как-то сразу настроил меня на пессимистический лад. Но оказалось, что Файзулла окончил технический университет в Ташкенте, по ночам работает внештатным программистом, а днем работает на складе - так говорить, он дает отдых мозгу и экономит на фитнесе.
Поэтому выкладывать его в публичную сеть – не лучшая идея.
Даже внутри локальной сети интерфейсы управления следует размещать в отдельной VLAN с доступом только с админских машин.
В случае удаленного сайта необходимо также настроить VPN-доступ.
Порты для графической консоли и перенаправления удаленных носителей от трех популярных поставщиков:
| IMM-порт | порт iLO | порт iDRAC | |
| Удаленные носители | 3900 | 17998 | 5900 |
| Удаленная консоль | 3900 | 17990 | 5900 |
- Преданный – когда порт используется только для управления;
- Общий – IPMI работает на сетевом интерфейсе LAN1;
- Аварийное переключение – IPMI работает в режиме Dedicated, но если на выделенном порту нет соединения, он переключается в режим работы Shared.
Поэтому везде, где это возможно, следует использовать отдельный интерфейс.
В качестве дополнительного рычага управления можно использовать GSM-розетку:Если сервер все же приобретается без какой-либо реализации BMC, то есть пара запасных вариантов:
Модуль управления питанием с SIM-картой позволяет перезагрузить любые подключенные устройства независимо от наличия основного интернет-канала.Но такой перезапуск может негативно повлиять на целостность данных сервера, ведь все происходит только в «жестком» режиме.
Для коммутаторов и маршрутизаторов этот аварийный выключатель с SMS-управлением очень удобен.
- Отдельное устройство IP-KVM. Вы можете подключить множество «неуправляемых» серверов;
- Модуль BMC на шине PCI-E , который можно установить практически в любой автомобиль;
- В случае, когда будущий сервер собирается на базе настольного железа, стоит заказать материнскую плату и процессор с поддержкой Intel вПро .
Эта система имеет мало общего с реализациями IPMI, но обеспечивает функции IP-KVM.
По закону Мерфи одновременно с выходом из строя сервера может выйти из строя интернет-канал или маршрутизатор.О пользе непопулярных протоколов В эпоху всеобщего «цифрового любопытства» использование дырявого протокола управления сервером, да еще и такого, который работает через UDP, кажется архаичным.Поэтому было бы неплохо использовать не один роутер с двумя каналами, а несколько отдельных устройств.
Неплохим вариантом выглядит 3G\LTE-модем с поддержкой VPN-туннелей — скорости, предоставляемой этими сетями, хватает даже для сеанса удаленного доступа к рабочему столу.
Помимо удобных веб-интерфейсов производители часто предоставляют альтернативные способы управления:
- WS-Менеджмент .
Этот протокол идеологически ближе к WBEM, чем к SNMP. В среде Windows его реализацией является WinRM.
Restart-Computer -ComputerName "Server01" -Protocol WSMan -WSManAuthentication Kerberos- РАЗГРОМИТЬ .
Стандарт интерфейса, работающий через SSH. Команда перезагрузки проста, как и все гениальные вещи:
resetПрактически все вендоры предоставляют схожие альтернативные интерфейсы, но они чаще используются средствами мониторинга, а не самими администраторами.
Общий Конечно, кластерные решения могут успешно решить многие проблемы.
Но мы живем не в идеальном сферическом мире, и не все сервисы можно бэкапить.
Поэтому нюансы «хитрых» реставраций тоже хотя бы раз пригодятся каждому.
У вас наверняка есть свои хитрости на случай, если «пинг потерян и вам предстоит долгий путь» — поделитесь с коллегами в комментариях.
Теги: #it инфраструктура #Системное администрирование #Администрирование серверов #Восстановление данных #удалённое администрирование #BMC #восстановление сервера
-
Обзор Павильона Hp Dv4I-2100
19 Oct, 24 -
Серверный Рендеринг В Бессерверной Среде
19 Oct, 24 -
Сделайте C++ Снова Великим!.. В Туле
19 Oct, 24 -
Что Бы Ты Сделал, Если...?
19 Oct, 24
