Добавление и удаление узла в кластере: шаги без пути назад

Добавить машину в кластер выглядит как пара нажатий в панели. Но за кулисами это означает, что машина отдаёт свою личность. И у некоторых шагов нет пути назад.

Вступающая машина должна быть пустой

Вступить в кластер, это не вписать своё имя в список. Кластерные настройки вступающей машины заменяются настройками кластера.

Практическое следствие: сервер, на котором есть машины, не может вступить в кластер, сохранив их. Вступление ожидает, что настройки гостей на вступающей стороне пусты.

Правило ясное: вступайте пустым узлом. Если на нём есть работа, сначала перенесите её. Способ переноса, снять резервную копию и восстановить её после вступления. Не вступайте в надежде; если операция остановится на середине, у вас не останется ни старого, ни нового состояния.

Удаление идёт только в одну сторону

Вот где нужна настоящая осторожность. Когда вы удаляете узел из кластера, вы не можете вернуть этот узел с тем же именем и той же личностью.

Причина: оставшийся кластер продолжает нести личность удалённого узла в собственном состоянии. Машина, вернувшаяся с той же личностью, создаёт противоречие между тем, что видит кластер, и тем, что есть на деле.

Если вы хотите использовать удалённую машину снова, путь один: установите её заново. Это не совет ради удобства, это единственный безопасный путь.

Машина выключается до удаления

Второе правило: удаляемый узел выключается и остаётся выключенным. Попытка удалить работающий узел приводит к тому, что он возвращается и путает кластер.

Порядок такой: перенесите работу, выключите машину, затем удалите её из кластера.

Скрытое побочное действие удаления: меняется большинство

Вот чего никто не учитывает. Когда вы удаляете узел, должно измениться и число голосов, которое кластер ожидает.

Если вы удалите один узел из кластера в три узла, останутся два, а два узла, это ровно то хрупкое состояние: если один упадёт, оставшийся единственный узел не соберёт большинства и кластер запрёт сам себя.

То есть действие «отправляю узел на пенсию» может незаметно перевести вас в наихудшее расположение. Решая уменьшать, с самого начала подумайте, не опуститесь ли вы до трёх.

Имена выбираются при установке

Мелкая, но раздражающая деталь: имена узлов нелегко изменить, когда они уже в кластере. Имя, которое вы дадите при установке, останется с вами надолго.

Потратьте минуту и выберите осмысленное имя. Три узла с именем «pve» через полгода затрудняют понимание того, на какую машину вы смотрите.

Порядок при уменьшении

Порядок при уменьшении кластера: перенесите работу на другие узлы, выключите машину, удалите её из кластера, проверьте, что оставшиеся узлы всё ещё держат большинство, и, если собираетесь использовать эту машину снова, установите её заново.

Четвёртый шаг пропускают чаще всего, и когда его пропускают, беда видна не сразу: всё продолжает работать, пока не упадёт узел.

Что делает Atlas

Скажем границу прямо: Atlas не выполняет добавление и удаление узлов. Это дело самого кластера, и так должно остаться.

Что Atlas делает, так это делает видимым последствие этих действий. Читая состояние кластера, он не говорит просто «кластер есть»; он показывает отдельно, сколько голосов собрано и сколько ожидается.

Ценность этого различия проявляется именно в этой статье. После удаления узла вы можете увидеть, действительно ли снизилось ожидаемое число голосов. Если кластер всё ещё ждёт узел, которого больше нет, разрыв между собранными и ожидаемыми голосами скажет об этом, и это надо заметить прежде, чем упадёт ещё один узел.

Те же сведения используются со стороны обслуживания: перед обновлением узла вычисляется, держится ли большинство в данный момент. Начинать обслуживание на запертом кластере, значит лишь увеличивать беду.