Пятница. Вечер. Выглядывающее из-за облаков солнце настраивает на умиротворённый лад, а конец трудовой недели только усиливает это впечатление. Спокойный день - юзеври не зверствуют и ничего не ломают. И вот приходит она. Она подкрадывается незаметно, когда ты её не ждёшь, тихо заходит со спины и зловещим шёпотом говорит: "Привет. Это я, ЖОПА! Вешайтесь!"
Да, так незатейливо пятница закончилась и начался снова понедельник. Без утренних кофе и разговор с коллегами, без бошорга и новостей. А как всё невинно начиналось:
---
To: ИТ-менеджерам СП-б, начальнику ИТ
From: Sergius
Subject: перезагрузка серверов
Коллеги, в 18:30 по московскому времени, сервера СПб будут перезагружены.
p.s. Поздравляю всех с пятницей :)
---
Вот оно, вот оно это дурацкое: "поздравляю". Всего полчаса осталось до конца рабочего дня, и на тебе.
Сервера уходят в ребут, а на экране:
Ответ от 10.107.1.2: число байт=32 время=28мс TTL=124
сменяется зловещим:
Превышен интервал ожидания.
Но вот, пинг снова восстановился, и схватив сумку я вырубаю машину и выхожу на улицу. Телефонный звонок останавливает меня за несколько шагов до моего железного друга. Exchange, тихо-мирно работающий на этой машине вот уже не первый год после ребута стал посылать всех пользователей куда подальше, напрочь отказываясь запускаться швыряя при этом в логи тонны Error-message.
Пришлось возвращаться. Возвращаться снова в этот офис, снова включать комп, снова логиниться на сервер.
Прошло два часа, со вторым админом прижав к своим ухам трубки пытаемся понять в чём, собственно трабл. Трабл, как и подобает быть настоящему траблу вылезать на свет божий не спешит, а старательно маскируется.
Еду домой, настроение отвратительное, дома снова врубаю машину, и логинюсь на сервак. Проблема осталась, на часах уже час ночи, а мы не приблизились к разгадке не на дюйм. Были испробованы несколько советов от меломягких, но ни одно не помогло. Exchange - тупо нас посылал, кидая в логи ошибки с заумными фразами. Мало того, что он не запускался, так он и не удалялся. Мативации его были следующими: "раз у вас есть пользователи, то себя я удалить не могу, удалите сначала всех юзверей, а потом я ещё подумаю". Вот так. Один эта сабака помирать не хотел, только со всеми юзверями. Понятное дело, что вводить ~80 юзеров заново не было никакого желание.
Суббота, семь часов утра. Аццкий будильник перевёл меня из состояния: "мен заебись", в состояние: "данунах, неужели уже утро".
Зайдя снова на сервер и поняв что проблема чудесным образом за ночь не изчезла, обреченно позвонил второму админу, и договорившись в 9 встретиться на объекте, побрёл в ванную.
Суббота, 21:00 после танцев с бубном и шаманских заклинаний, база пользователей была восстановлена на резервном компе, ящики вытащены из хранилища в отдельные файлы, а локальной ИТ-службе поручено перенастроить у пользователей аутглюки на новое имя сервера.
Пятница, бля. :)