Апрель начался для нас не очень хорошо, но благодаря этому факапу мы провели тестирование всех заявленных нами функций. И что же оказалось:
На московском сервере, где располагались как наш основной сайт https://jetlive.ru, наш сервер имен ns2.jetlive.ru, так и клиентские сайты, произошел аппаратный сбой, который привел к полной неработоспособности всего сервера на 3-4 дня. Вероятность потери данных была крайне высока.
Общение с технической поддержкой ДЦ было крайне медленным и вероятность того, что данные уцелели снижалась с каждым днем. (до сих пор не совсем понятно, что произошло. (проблема с дисками vs проблема с контроллером vs хостерам надоело, что мы платим мало денег за сервер и подходит время очередного платежа.. =).
Нами было принято решение: оптимизировать расходы, заказать новый сервер у более адекватного хостера, восстановить работоспособность клиентских ресурсов из резервных копий..
Вот тут-то начинается самое интересное.
С момента нашего старта в сентябре 2015 года и по 1 января 2016 года наличие, корректность выполнения и актуальность всех резервных копий проверялось регулярно и никаких нареканий не вызывало, но обновление ISPmanager сыграло злую шутку. Начная с этого момента резервное копирование на московском сервере выполнялось либо не регулярно, либо содержала частичные данные. Поэтому на момент старта нового сервера, часть сайтов запустились с данными на начало марта ;-(
Было сгрызено много ногтей, получено много поседевших волос, но в итоге были получены актуальные данные с вышедшего из строя сервера.
Это показало, что даже при хорошем раскладе необходима регулярная проверка всех сервисов и функций. Резервное копирование переоценивать не стоит и дублирование копий в несколько географически разнесенных мест просто необходимо! (только благодаря этому мы восстановили работу сайтов не через полторы недели, а через двое суток (сразу, как была получена информация о полной неработоспособности сервера и проблем с получением информации с дисков).
Начало апреля, как вы видите, выдалось веселым. И мы решили продолжить веселье 😉
- Запланирован перенос системы мониторинга и личного кабинета (примерный даунтайм не более часа-двух).
- На конец апреля (28-30) запланированы работы на ns1.jetlive.ru и новосибирском серверt. Предположительно, не более 2-3 часов. Будут изменены ip-адреса, но к утру ДНС будет уже обновлен и никто ничего не заметит.
Все работы будут проводиться поздно ночью\рано утром и не должно сильно сказаться на снижении посетителей.
Вот как-то так. Полетели дальше!