Сюда в очередной раз приехали представители западной корпорации.
Мы пили.
Спросили о наших варварских возможностях ИТ.
Ну, я рассказал пару историй.
Чухна не поверила, сказала, что мне повезло, и это все статистический выброс.
Я почему-то так не думаю – подобные истории есть у всех, у кого есть чемодан.
Однажды коллега из поддержки Л2 сказал: возьмите кошелек на сайт, раз уж вы едете в один и тот же город. Ок, говорю, не вопрос, конечно возьму.
Прихожу в офис с портфелем, а там стоят трое охранников и этот товарищ из Л2. С собой у них черная спортивная сумка, здоровенная.
Открывается с трудом, но я все равно открываю и заглядываю - а там матрицы оперативной памяти один в один для серверов-молотилок одной фирмы, так сказать "три буквы".
Я примерно оцениваю стоимость «сумочки»: говорю, друг мой, это около трехсот тысяч долларов, да? Нет, говорит, полмиллиона.
Вперед, продолжать.
Ребята отвезут вас к входу в аэропорт, а дальше вы будете одни.
Я не покидал аэропорт прибытия, пока встречающий не забрал мою сумочку.
В одном университете региона был дорогой импульсный лазер, и все знали, что это самое ценное, что у них есть.
В один прекрасный день несколько товарищей открыли решетку на окне (сделали петлю между решетками, вставили арматуру и крутили ее как рычаг до образования достаточного отверстия).
А программатор украли вместо лазера, потому что он явно выглядел гораздо эффектнее и подключался к компьютеру.
Стоимость программатора копеечная, но ничего подобного больше нет. Он существует практически со времен советских станков с ЧПУ, которые были на перфокартах.
И лазер обратно совместим с ним и с новыми дорогими системами.
Тогда схема была такая: моделировали деталь на компьютере, отправляли программисту, а он отправлял на лазер.
Мы пришли наладить прямую связь.
Мы рисовали круги, квадраты и более сложные формы, а также реконструировали формат. В конце концов это сработало, но все равно не совсем хорошо.
Насколько я знаю, украденный программатор так и не всплыл, и в итоге тот самый им достался где-то через пару лет после модернизации одного из производств в регионе.
Был еще такой случай: на большой системе хранения данных вышли из строя сразу два RAID-диска.
Производитель мучился 4 дня, а потом сообщил о потере данных.
Администратор пострадавшей страховой компании, получив свободу, отнес эти диски в лабораторию восстановления и получил обратно один исправленный, а затем с помощью долота и какой-то матери, не обращая внимания на предупреждения, все же сделал ребилд и собрал согласованные данные.
Именно на этот случай, кстати, обиделась наша Чухна.
Говорят, мы там все профессионалы, такого не могло быть.
У другого моего друга был похожий случай — индиец из глобальной техподдержки сломал массив, а когда местная команда начала спрашивать, какой идиот это сделал, они столкнулись с фактом.
Надо сказать, что они признали свою ошибку, но помочь уже не могли и никакой компенсации, естественно, не было.
Они верили в индусов; все хорошо знают индусов.
Или так: у одного из моих друзей-администраторов была такая история.
Пришёл в крупную государственную компанию (в области) и начал с инвентаризации.
Я нашел систему флэш-памяти, которая нигде не указана.
Массив свежий, 3 года с производства, 2 года с покупки.
Это стоит как довольно большая часть самолета.
Как-то подняли историю, выяснили, что предыдущие специалисты либо не купили поддержку, либо просто что-то забыли, и в результате перевода с баланса на баланс в другом городе железка осталась без поддержки.
Резервную копию для него создать не смогли, просто LUN-ы даже не афишировали.
В результате резервная копия ушла в сервисы Google (это от российской госкомпании), а масса денег налогоплательщиков спокойно простаивала в серверной.
Другая государственная компания в жарком южном регионе очень не хотела платить за услугу резервного копирования.
Мы просто физически не могли объяснить их руководителю, почему им нужно платить за работу, когда поломки не было.
Вот типа и будет проблема – он будет платить эти жалкие 3750 рублей в месяц, но пока не верит, что это необходимо.
Естественно, по закону жанра ловят вирус через бухгалтерию, кладут свою RDP-ферму с 1С, теряют базу на Винлокере с ключом на 1024. «В тот же день звонит менеджер и говорит, что все упало , и он готов заплатить эти 3750 рублей.
Как все будет исправлено.
В очередной раз увидел, как в достаточно крупной компании перепутали IP тестового и производственного сервера.
И в течение нескольких месяцев мы проводили тесты непосредственно на реальных данных клиентов.
Мы осознали проблему в тот момент, когда один из клиентов увидел странное движение на счете (в минус).
Откаты были эпохальными - пришлось поднимать всю историю испытаний и возвращать фактически вручную, как было.
Или это была история.
У клиента (государственного учреждения) потерян один из шлейфов массива.
Мы пришли из службы поддержки EMC и диагностировали проблему с картой LCC. В итоге после танцев с бубном оказалось, что замена карты LCC не помогла.
Базу пришлось поднимать очень быстро — клиент нёс серьёзные финансовые потери.
Находившийся на объекте российский айтишник не согласился с диагнозом потенциального противника и предложил другое решение.
Там был модуль ввода-вывода из другого машинного зала, его установили при разработке этой версии.
Все сразу встало.
Но так как не сделали по плану, EMC отправила всех.
Ну в общем отказались заменять неисправный модуль ввода-вывода на новый.
Говорят, что проблема не в нем, и танцы с бубном оказались бесполезны, просто потратили запчасть.
И это стоит больших денег.
К счастью, менеджер написал прямое письмо своему (клиента) начальнику, что если проблема не в модуле, то он поменяет его обратно на тот, который там был.
Только база, скорее всего, снова упадет. Они сделают это завтра.
И я отправил его в страховую команду, приложив письмо EMC. EMC согласовала замену немедленно на следующее утро и пообещала поставить новый ввод-вывод в течение 24 часов.
И, конечно, самое лучшее, что случается в жизни, это когда разработка выкатывает релиз где-то 30 декабря, а в это время кто-то до кучи обновляет либо прошивку роутера, либо ревизию Oracle. Праздники становятся намного веселее.
Тем более, что 24-часовой SLA от производителей этой чертовой прошивки означает «вам позвонит индиец и задаст 100 глупых вопросов, ничего не поймет, но скажет, что проблема на вашей стороне».
Это тоже произошло.
Теги: #Системное администрирование #истории
-
Мы Упрощаем Документооборот С «Поэтому»
19 Oct, 24 -
Баги На Remix.ru
19 Oct, 24 -
Последнее Интернет-Радио
19 Oct, 24 -
Последние Новости Безопасности Sap
19 Oct, 24 -
Биткойн И Денежные Переводы
19 Oct, 24
