Задача копирования тихо остановилась: самый дорогой отказ не громкий

Самый дорогой вид отказа в схеме резервного копирования, не громкий. Громкую ошибку видят и чинят в тот же день. Задача, которая тихо остановилась, стоит неделями и обнаруживается ровно в тот день, когда была нужна.

Способы тихо остановиться

Место назначения заполнилось. Сетевой ресурс не подключился после перезагрузки. Хранилище переименовали. Задача указывает на машину, которой больше нет. Истёк срок учётных данных. Всё это где-то порождает ошибку, и ничто из этого не порождает ошибку перед человеком.

Ловушка уведомления

Фраза «если что-то пойдёт не так, придёт письмо» несёт два допущения: что почта с этой машины действительно уходит, и что кто-то её читает. В большинстве установок не верно ни то, ни другое. Вдобавок уведомление, срабатывающее только при сбое, неотличимо от системы уведомлений, которая никогда не работала: обе молчат.

Единственный способ узнать, что уведомление работает, это увидеть, как оно сработало. В день настройки вызовите сбой намеренно и посмотрите, как приходит письмо. Не увидели, значит этого уведомления нет.

На что смотреть на самом деле: возраст

Вместо состояния последней задачи смотрите на возраст самой свежей копии. Возраст отвечает сразу на два вопроса: отработала ли задача и произвела ли она что-нибудь. Задача может отработать и ничего не произвести, продолжая выглядеть успешной; возраст это ловит, состояние нет.

Минутная проверка раз в месяц

Посмотрите на четыре вещи: сколько дней самой свежей копии каждой машины, соответствует ли число хранимых копий вашему правилу, сколько места осталось на месте назначения, и есть ли машина вовсе без копий.

Последнее находят чаще всего, и причина почти всегда одна: эта машина была создана после того, как задача копирования была написана.

Пишите правило, а не список

Задача, выбирающая машины по одной, верна в день написания и чуть более неверна с каждой новой машиной. Где возможно, задайте её как «все, кроме этих». Тогда создание новой машины само помещает её в охват копирования, и цена забывчивости падает до нуля.

Что делает Atlas

Atlas показывает существующие копии вместе с их датами, поэтому вопрос о возрасте выше решается взглядом, а не догадкой: когда была снята самая свежая копия каждой машины, помещается на один экран.

Atlas Watch наблюдает за самим сервером, ожидающими обновлениями, виртуальными машинами и возрастом резервных копий. Он смотрит туда, куда советует смотреть эта страница: не на последний статус задачи, а на возраст самой свежей копии. Если самая свежая копия машины оказывается старше выбранного числа дней, это попадает в ежедневную сводку; порог по умолчанию составляет три дня, он меняется из панели, а если проверку перевести в разряд критических, уведомление уходит сразу, не дожидаясь сводки.

Если само хранилище копий прочитать не удаётся, Watch не молчит, а сообщает, что прочитать не смог. Принимать молчание за исправность и есть та самая неисправность, которую описывает эта страница; поэтому возможность объявить чистым то, что сторож не смог прочитать, была намеренно исключена. Ежемесячная проверка выше сохраняет смысл: единственный случай, который проверка не покрывает, это совсем новая машина вообще без копий.