Предварительное уведомление: этот пост чисто пятничный и скорее развлекательный, чем технический.
Вас ждут забавные истории о инженерных хитростях, байки с темной стороны работы сотового оператора и прочий несерьезный шорох.
Если я где-то что-то приукрашиваю, то это только на пользу жанру, а если вру, то все это вещи из столь давних времен, что это никому не повредит. Но если вы поймаете техническую ошибку или еще какую-то ошибку, поправляйте меня беспощадно, я всегда был на стороне справедливости.
Внимание, стартую без разгона!
Задняя дверь во двор
В нашей дежурке на первом этаже были большие окна, от основания и почти до потолка.Вышли на служебную стоянку, откуда утром выехали всякие геодезисты и другие полевые работники.
Парковка располагалась на достаточном расстоянии от парадного и всех служебных входов и за двумя шлагбаумами.
Однажды утром в это время к зданию подъехали полицейские машины, полицейские стояли у всех подъездов и обыскивали всех выходящих.
В официальную рассылку приходит оповещение: вдруг (действительно внезапно, а не как обычно) пришла проверка лицензирования ПО, и рабочие станции будут проверены.
Всех, у кого на компьютерах есть что-нибудь пиратское, нужно немедленно сносить! Конечно, все, что связано с операционными системами, офисным и утилитарным ПО, в основном было лицензионным.
Но не всё, не всегда и не везде; Что касается того, что сотрудники устанавливали на свои корпоративные ноутбуки, то это совсем темная история.
Я бросился проверять машины в своей зоне ответственности на предмет пиратства, быстро что-то снося.
.
И в это время в дежурку поспешными и нервными шагами начинают заходить инженеры, с ноутбуками и системотехниками на руках.
Они входят через дверь и выходят, хихикая над нелепостью ситуации, через окно: все входы были заблокированы, но демоны правопорядка не додумались до такого черного хода.
Итак, пока проверялась бухгалтерия (где все было образцово), сотрудники вытащили все, что было не так.
Прошлое здесь
Если вам интересно и вы еще не закрыли вкладку, вот некоторая экспозиция происходящего во времени, пространстве и людях.Я прекрасный молодой, зеленый, как щавелевый лист, выпускник IT-индустрии, устроился на работу в инженерную службу самарского «Мегафона» (тогда еще МСС Поволжье).
Для меня это был первый настоящий контакт с Техникой с большой буквы и Техниками с еще большей: будучи самым юным чертенком на этой адской кухне, я с восторгом наблюдал за работой многоопытных дьявольских инженеров, безуспешно пытавшихся постичь их мудрость.
Пока эта мудрость не просочилась в поры моего мозга, я мог только ковыряться в куче разных мониторингов, волнуясь каждый раз, когда там появлялся «красный».
Если кто-то из упомянутых здесь персонажей вдруг узнает себя, то вам привет!
Если работает, не трогайте (но трогайте, если не работает)
Одним из упомянутых выше супертехнарей был Миша Басов.За годы работы в Меге я услышал о нем много хорошего и интересного в том плане, что он стоял практически у истоков и запустил кучу процессов.
Пообщаться с ним толком мне не удалось: мы встретились буквально в отделе кадров, когда я принесла документы, а он их забрал.
Одну из систем мониторинга, с которой мы работали, написал Миша.
Я правда не помню, что там мониторилось, но знаю, что Миша написал временное решение, которое быстро стало постоянным.
И это хорошо: многое из того, что настоящие технари делают для своих нужд в спешке, получается просто отлично.
Тот мониторинг тоже всех устраивал, работал без какой-либо поддержки и обслуживания, хотя никто не умел.
Через пару лет после увольнения Миши мониторинг стал показывать пустую страницу.
Я сразу забил тревогу.
Начальник смены забил тревогу.
Руководитель сектора забил тревогу.
Глава ведомства забил тревогу.
Глава службы забил тревогу.
Начальник отдела звенел колокольчиками.
Звонок услышал ИТ-директор всего Поволжья и тут же созвал совещание.
Там он позвонил начальнику отдела.
Он рявкнул на начальника службы.
Он, не понимая сути проблемы, позвонил руководителю ведомства.
Этот, не поняв, что произошло, позвонил начальнику сектора, который вызвал начальника смены.
Ну, он направил стрелу на меня.
Как-то, переодевшись с дежурства, я пошел на это собрание.
Было сказано много слов, вызвали ответственного за мониторинг (ничего вразумительного мы не услышали), вспомнилось, что Басов писал о мониторинге, что мониторинг очень важен, но никто не понимает и не знает, как он работает .
Все сводилось к тому, что надо удалить неработающую и непонятную систему, а вместо нее внедрить проверенное решение от проверенного вендора.
Пока все это говорилось, я попросил у кого-нибудь ноутбук и доступ по SSH к этому серверу.
Мне было интересно посмотреть, какую суперкрутую систему написал легендарный Басов.
Когда я захожу, первое, что делаю по привычке, это набираю:
Команда говорит мне что-то вроде:df -h
Filesystem Size Used Avail Use% Mounted on
/var 10G 10G 0G 100% /Чищу /var/log, который за эти годы заполнился, отслеживаю обновления - все работает. Починил это! Встреча прекращается, срывается, и все расходятся.
Попутно начальник отдела радуется и обещает мне премию!.
.
Вместо бонуса я позже получил моральный удар за то, что случайно не заказал систему мониторинга у проверенного поставщика.
Где живут дома?
Одной из обязанностей дежурных инженеров был контроль электронных ключей доступа в компьютерные залы.Сами залы меня тогда очень впечатлили: ряды стоек, заставленных серверным и коммутационным оборудованием, линии оптоволокна и кросс-кабелей (где-то идеально проложенные, где-то превратившиеся в невероятный комок спагетти), постоянный гул кондиционеры и фальшполы, под которыми так удобно было охлаждать напитки.
Входы в залы закрывались тяжелыми герметичными дверями, призванными обеспечить автоматическую блокировку в случае пожара.
Вход и выход строго фиксировались и подписывались, чтобы было известно, кто и почему находится внутри.
Больше всего в этих помещениях мне, конечно, понравились серверные шкафы «супердомов» — два HP SuperDome 9000, обеспечивающие биллинг.
Два одинаковых узла, один всегда был боевым узлом, а второй синхронным горячим резервом.
Разница между ними была только в IP-адресах, один был х.
х.
х.
45, другой — х.
х.
х.
46. Все инженеры знали оба этих IP-адреса, потому что если что-то случилось в биллинговой системе, первое, что вы делаете, это смотрите, видны ли супердома.
Невидимость супердомов удивительна.
Однажды утром происходит нечто подобное.
В течение двух секунд на обоих серверах исчезают все услуги, а биллинг сворачивается в небытие.
Быстро проверяем сервера - пингуются, но на них действительно ничего нет! Не успеваем мы начать необходимый комплекс мер, как слышим громкий крик" УБЕЙ, СТУДЕНТ! »; архиадминистратор всех серверов вбегает в дежурку, срывает с полки электронный ключ от машинного зала и бежит туда.
Очень быстро после этого мониторинг возвращается в норму.
Произошло вот что: новый сотрудник подрядной организации, настраивавший пакет новых виртуальных машин, вручную назначил им последовательные статические IP-адреса, от х.
х.
х.
1 до х.
х.
х.
100. «Студент» не знал о священных неприкосновенных адресах, а старожилам и в голову не приходило, что на них кто-то может так покуситься.
Антиспам сервис
Ого, ночные смены! Я их любил и ненавидел, потому что было 50/50: либо плановая работа на оборудовании, где ты принимаешь активное участие, помогая инженеру с сонными мозгами и дрожащими руками, либо тишина и спокойствие.Абоненты спят, оборудование работает, ничего не сломано, дежурный расслаблен.
Дежурство идет по плану.
Однажды это полуночное спокойствие нарушает звонок на служебный телефон: здравствуйте, это вас из Сбербанка беспокоят, ваша сим-карта, с которой отправляются наши оповещения, перестала работать.
Это было очень давно, еще до введения IP-подключений к SMS-шлюзу.
Поэтому, чтобы Сбер мог отправить СМС со своего знаменитого номера 900, взяли предоставленную сим-карту (скорее всего, не одну), воткнули ее в GSM-модем, и вот оно заработало.
Хорошо, я принял проблему и начал копать.
Первым делом проверяю в биллинге статус симки, она заблокирована.
Какого черта - рядом красная надпись "НЕ БЛОКИРОВАТЬ" и ссылка на приказ генерального архидемона.
Вау, это действительно интересно.
Проверяю причину блокировки, строю домик на бровях и еду в следующий кабинет, где в монитор пялится девушка из отдела мошенничества.
«Леночка, — говорю я ей, — а почему ты Сбербанк заблокировалаЭ» Она в растерянности: мол пришла жалоба, что с номера 900 идёт спам.
Ну я заблокировала, утром разберутся.
А вы говорите - жалобы абонентов игнорируются! Симку, конечно, снова включили.
Очень страшная история
Когда я впервые устроился на работу, мне и другим новичкам устроили что-то вроде ознакомительной экскурсии.Показали оборудование: серверы, кондиционеры, инверторы, системы пожаротушения.
Они показали базовую станцию, стоявшую в одной из испытательных комнат для экспериментов, пояснив, что хотя передатчики включены на минимальной мощности, в экранированную дверь в это время лучше не заходить.
Они рассказали об устройстве мобильной сети, об основном и резервном питании, об отказоустойчивости и о том, что сеть рассчитана на работу даже после атомной бомбы.
Не знаю, было ли это сказано ради того, чтобы сказать, или это была правда, но это засело у меня в голове.
И действительно: какие бы безумства ни происходили на местах, голосовая сеть «Волги» всегда работала непрерывно.
Я не специалист по связи, но знаю, что оборудование (и базовые станции, и клиентские терминалы) рассчитано на максимальную «голосовую» живучесть.
Питание БС пропало? Уменьшит мощность, переключится на дизель-генератор/аккумуляторы, отключит передачу пакетного трафика, но голосовая связь продолжится.
Ты перерезал кабель? База переключится на радиоканал, достаточный для передачи голоса.
Телефон потерял BS? Он будет увеличивать мощность и прощупывать воздух, пока не зацепится за вышку (или пока не разрядит аккумулятор).
И т. д. Но однажды свет в офисе замерцал, а на улице загрохотали дизель-генераторы.
Все бросились перепроверять свое железо: по ИТ-части ничего критичного не произошло, но со стороны БС-мониторинга раздавалось недоуменное «аук».
А потом: «ребята, ВСЕ наши базы не работают, проверьте связь».
Достаем мобильные телефоны – нет сигнала.
Пробуем IP-телефонию - доступа к мобильной связи нет. Нет сети.
Совсем.
Никуда.
Вспомнив слова об атомной бомбардировке, я несколько секунд подсознательно ждал, пока до нас доберется ударная волна – другой причины потери сети я почему-то не мог придумать.
Было страшно и любопытно одновременно: я как-то понимал, что ничего не успею сделать.
Остальные ребята тоже остолбенели; никто ничего не мог понять.
Никакой взрывной волны не было.
После пятисекундного шока мы бросились к доступному как раз на такой случай проводному городскому телефону и начали обзванивать региональные отделения.
Городская сеть, к счастью, работала, но в регионах подтвердили: вся Самара «мертва», ни оборудование не пингуется, ни дозванивается.
Через пять минут один из энергетиков принес новость: где-то на электростанции произошел пожар, обесточивший как минимум всю Самару, а возможно, и область.
Выдохнул; а когда произошло переключение на резервную мощность, даже задохнулись.
Еще одна страшная (но немного глупая) история.
Самый большой факап на моей памяти произошел во время следующей прямой с теперь уже обнуленным.
На тот момент как раз ввели функцию с рассылкой вопросов по СМС, поэтому заранее подготовились к всплеску нагрузки на сеть: всё перепроверили и подготовили, а за целую неделю до дня Х запретили любую работу.
кроме экстренных.
Подобный протокол используется в любых случаях, когда ожидается повышенная нагрузка, например, в праздничные дни.
А для дежурных инженеров это то же самое, что выходной, потому что, когда оборудование не трогают, с ним ничего не может случиться, а даже если и случится, все специалисты на всякий случай заранее сидят в кабинете.
В общем, сидим, слушаем национального лидера и ни о чем не беспокоимся.
От операторов коммутатора раздается тихое «Ф***».
Смотрю на себя - действительно "х***": отвалилась кампусная сеть.
Через секунду все умирает (мема про Наташу и котов на тот момент не было, но было бы полезно).
Исчезает пользовательский сегмент сети, исчезает технологический сегмент. С нарастающим ужасом пытаемся проверить, что осталось в рабочем состоянии, и проверив, тянемся к шкафу за спрятанной бутылкой лечебного коньяка: остаются только голосовые вызовы (я же говорил, они живучие!), все остальное мертво.
.
Интернета нет - ни абонентского GPRS, ни оптоволокна, которое выделено нескольким субпровайдерам.
СМС не отправляются.
Жопа! Звоним в регионы - у них сеть есть, но Самару не видят. Через полчаса конец света стал почти осязаемым.
Десять миллионов человек, у которых вдруг все сломалось и которые не могут дозвониться до колл-центра, потому что голосовые терминалы в колл-центре работают через VOIP. И это во время выступления самого темного правителя! Очередная победа Госдепа и лично Обамы! Дежурные специалисты подключились с низкого старта и сработали очень оперативно: уже через час сеть ожила.
Такая облава не регионального и даже не регионального уровня, о ней предполагается доложить в Москву со всеми подробностями и выдачей виновных.
Поэтому тем, кто принимал участие в расследовании, под страхом увольнения запрещалось говорить правду, а в Гражданскую оборону был составлен доклад, полный воды и тумана, из которого как-то выяснилось, что «само это, никто виноват».
Что же произошло на самом деле: у одного из боссов заканчивались сроки реализации и он терял за них бонусы.
И обломали начальника начальника и так далее; Поэтому на одного из новых инженеров оказали давление, предложив ему провести необходимые сетевые подключения «пока все тихо».
Возражать или даже требовать письменного приказа инженер не осмелился: это была его первая ошибка.
Во-вторых, он допустил ошибку при удаленной настройке Cisco, добившись рекордных результатов по факапу в кратчайшие сроки.
Насколько я знаю, никто не был наказан.
Праздник приходит к нам
Праздники, как я уже говорил, для нас всегда были особенными днями.В такие дни резко возрастает нагрузка на сеть, количество поздравительных звонков и СМС зашкаливает. Не знаю, как сейчас, с развитием интернет-связи, но тогда только под Новый год опсосы сняли очень существенный штраф за поздравительные звонки.
Поэтому в канун Нового года в офисе всегда дежурили инженеры всех отделов (а за пределами офиса стояли бригады, готовые продираться через сугробы для ликвидации аварии на базовой станции в поселке Малые Дрищи).
Специалисты по биллингу, администраторы оборудования, сантехники, сетевые специалисты, коммутаторы, специалисты по обслуживанию, подрядчики поддержки — у каждого существа есть свое существо.
А если позволяли условия, они тусовались у нас в дежурке, наблюдая на наших устройствах мониторинга за скачками трафика в зависимости от часовых поясов по всему Поволжью.
Три-четыре раза за ночь мы встречали Новый год, однако это был не столько праздник, сколько нервное ожидание: выдержит ли оборудование перегрузку, не оборвется ли какое-то звено в сложной технической цепочке.
Особенно нервничал Саша, который отвечал за расчеты.
Он в принципе всегда выглядел так, будто вся его жизнь прошла на нервах, потому что ему приходилось разбираться во всем хорошем, что происходило с биллингом, нести ответственность за все косяки, его будили чаще других ночью; вообще я понятия не имею, как и почему он работал там, где работал.
Возможно, ему заплатили много денег, или семью держали в заложниках.
Но в ту ночь у меня действительно было ощущение, что если щелкнуть по Саше ногтем, то от накопившегося в нем внутреннего напряжения он рассыпется в прах.
На такой неприятный случай у нас есть веник, а пока мы приступаем к работе, облизывая коньяк, ожидающий нашей очереди.
Час за часом все скачки нагрузки проходили, все начали перепроверять свои системы.
Свитч бледнеет: на одном из региональных свитчей пропал весь биллинговый трафик.
А это данные обо всех вызовах, прошедших через коммутатор; они записываются в файл, который частями загружается по FTP (извините, но надежно) на БРТ для зарядки.
Коммутатор, представляя, какой объем скипидарной клизмы ему поставят за потерю части новогодних доходов всего региона, задрожал.
Повернувшись к Саше, он обратился к прославленному господину расчетнику голосом, полным волнующей надежды: «Саша, посмотрите, может быть, БРТ удалось снизить тарифы? Ой, посмотрите, пожалуйста!» Саша глотнул коньяка, закусил бутербродом с икрой, медленно прожевал его и, закатив глаза от удовольствия от того, что косяка у него нет, ответил: «Я уже проверил, файлов нет. ».
(Мой замечательный корректор спросил, что случилось с бедным переключателем.
Ох, судьба его была ужасна: его приговорили к неделе дежурства на первой линии поддержки колл-центра, запретили ругаться.
Бррр!)
Бросьте камень, кто безгрешен
Судя по этим рассказам, может сложиться впечатление, что ни я лично, ни другие дежурные не несут ответственности.Ничего подобного, отстой, но как-то без интересной эпопеи и последствий.
Работа считалась подходящей для вчерашних студентов без мозгов и опыта, с такого сотрудника взять было нечего, его выгнали бы за косяк - так что не факт, что он умнее будет. Но дежурное обвинение в своих ошибках было для инженеров отдельной спортивной дисциплиной: промахнулись, не разобрались, не предупредили вовремя, вот и накажите их.
«Дежурный офицер» в совершенстве владел искусством оправдываться; не всегда получалось, но все всё понимали.
Поэтому и прилетело – но, как правило, безболезненно.
Разбираемся с очередным «провалом» при пересменке.
За несколько лет работы там я могу вспомнить три случая, когда кого-то увольняли из отдела.
Однажды инженер в ночную смену решил попить пивка, и тут в дежурку зашёл технический директор.
Иногда он мог зайти вот так и просто поздороваться (вроде с дежурными начинал).
Я сожгла парня банкой пива, щелкнула по телефону, выстрелила.
Вечером мы больше не пили пиво.
В другой раз дежурный электрощиток пропустил какую-то очень страшную аварию.
Подробностей я уже не помню.
И третий раз – по окончании моей там работы.
Условия труда очень ухудшились, была дикая текучка кадров и ужасные сверхурочные.
Люди иногда работали по 24 часа, затем ложились спать на 12 часов и снова шли на ежедневное дежурство.
Я сам работал так до тех пор, пока позволяло здоровье и это оплачивалось; потом вообще перестали платить за сверхурочную работу (стандартно обещали компенсацию с отгулом по возможности - но все понимали, что никто никогда не пойдет гулять), и чуть ли не угрозами выгнали с дежурства.
Один инженер не выдержал кукушки, встал с рабочего места посреди смены и ушел навсегда домой, по дороге заглянул в кабинет начальника службы и отправил ему письмо из трех букв.
Помню рассылку, в которой этого инженера постфактум заклеймили фашистом и предателем, в каждой строчке читалось, как таким поступком сожгли власть.
Что касается моих личных факапов, то один случай запомнился мне своей необычностью.
Опять ночное дежурство, все тихо, ничего не происходит. При пересменке проверяем мониторинг: упс, обработка данных с переключателей ночью отвалилась, хорошо, что красный свет горит давно.
Я всю ночь смотрел на этот сигнал и не воспринимал его, что ли.
Несмотря на то, что это был один из самых очевидных и наглядных мониторингов, я до сих пор не понимаю, почему я его не увидел.
Тут нечего было оправдываться, косяк был чистый и стопроцентный, несчастный случай пятой категории и вполне вероятное увольнение.
После двенадцати часов ночного дежурства до обеда меня изводили и заставляли писать объяснительные.
Так как правде никто не поверил, пришлось придумать какую-то болтовню, что из-за травмы я переборщил с обезболивающим и уснул.
Начальник службы наорал на меня в своем кабинете, в общем, все шло к увольнению - но закончилось выговором и лишением премий.
К тому моменту Мега уже несколько лет не видела бонусов, поэтому никакого ущерба я не понес.
Вспоминается эпизод с приездом технического директора: однажды ночью какой-то жлоб забился в дежурку и начал орать, что мы сидим незапертыми (дежурка не должна запираться в принципе), что мы здесь олени, и это по утром он ждал от всех нас объяснительных записок обо всех наших ошибках.
Этот быдло был главой службы безопасности, и он ТОПИЛ.
На крик начальник охраны убежал в темноту, а утром мы спросили у начальника: «Что нам делатьЭ» «К черту его», — ответил он, и на этом инцидент закончился.
Как я сломал отдел
В те времена башорг (тогда еще bash.org.ru, а не то, что сейчас) был культовым ресурсом.Котировки появляются там чуть ли не пару раз в месяц, и есть СВОИ! ЦИТИРОВАТЬ!!! НА БАШЕ!!! это было так же круто, как, скажем, иметь свой домен второго уровня в 2000 году.
Тот башорг был как-то больше IT-аниме, хотя всем было смешно.
Каждое рабочее утро самого молодого инженера (то есть моего) начиналось с чтения башорга – тридцати секунд смеха перед двенадцатью часами страданий.
Однажды коллега спросил меня, над чем я хихикаю.
Я показал ему что.
Он разослал ссылку по отделу.
Работа остановилась на пару дней: к моему удивлению, никто из моих коллег до этого момента не знал о bash. В дежурке раздался смех: «А-ха-ха-ха, патчи KDE, ахаха-ха-ха!» «Игого-гоу-гоу, утопите ломы в ртути, бгегегег!» Был потерян рабочий день, но зато значительно продлилась их жизнь.
Бонус для тех, кто дочитает
Помните, в бородатые времена был такой популярный анекдот: «Вижу в Нортоне два диска С, думаю — а зачем мне два? Ну, я стер один!» Это очень напоминает одну из моих любимых историй, рассказанную не мной, а мной.
И каждый раз смешно, как в первый раз: 18+, но слова из песни не выкинешь
P.S.
Эти истории представляют собой обработанную компиляцию некоторых постов с моего канала TG. Иногда там проскакивает подобная игра; Я ни на что не намекаю, но связь Я все равно оставлю это.Всем хорошей беззаботной пятницы! Теги: #ИТ-инфраструктура #Читальный зал #сказки #Пятничный пост #факапс #мегафон #воспоминания #прошлое там
-
Штерн, Отто
19 Oct, 24 -
Тестирование Рекурсии
19 Oct, 24
