Noget gik i stykker efter opdateringen: "efter" og "på grund af" er ikke det samme

Du opdaterede, genstartede, noget virker ikke. Den første refleks er "opdateringen ødelagde det", og nogle gange passer det. Men først skal der laves en skelnen, for den ændrer arbejdet fra begyndelsen.

"Efter" og "på grund af"

En genstart er den første ærlige prøve på alt, der er gjort siden sidste genstart. En tjeneste startet i hånden og aldrig tilføjet til opstarten, en montering, der aldrig blev skrevet ind i opsætningen, en indstilling ændret i drift og aldrig gemt til en fil: alt dette har ligget der i månedsvis, og intet af det var prøvet indtil det øjeblik. Genstarten bringer det frem, den forårsager det ikke.

At vide det betaler sig, for "fortryd opdateringen" løser ikke den slags problem, og netop derfor sender det dig i den forkerte retning i timevis.

Først symptomet, så beslutningen

Det egentlige spørgsmål er ikke "hvordan kommer jeg tilbage", men hvad præcis er i stykker. Der er tre symptomfamilier, og de peger i tre forskellige retninger.

Maskinen kommer slet ikke op. Sagen gælder kernen eller opstartslaget. Vejen tilbage er den forrige kerne, og den ligger som regel der endnu, for opdateringer sletter ikke gamle kerner.

Maskinen kommer op, men der er intet panel. En tjeneste startede ikke. Se på hvilken og hvorfor; det er næsten altid en enkelt opsætningssag og ikke hele opdateringen.

Alt kommer op, men noget opfører sig anderledes. En komponent har virkelig ændret sig. Her er instinktet om at gå tilbage mest forkert: det rigtige arbejde er at læse, hvad der er ændret.

At gå tilbage er ikke gratis

At spole rodfilsystemet tilbage fortryder ikke kun opdateringen, det fortryder alt siden det øjeblik. Indstillinger ændret i mellemtiden, tilføjede adgangsnøgler, andet installeret, alt går tilbage. At gå tilbage er en beslutning, ikke en knap.

En stige, der begynder med det billigste

Prøv det smalleste først, og virker det, så rør ikke mere:

Start med den forrige kerne. Det rører kun kernen og lader resten være, som det er.

Sæt en enkelt pakke tilbage til den tidligere version. Virkningen bliver i den pakke.

Spol systemtilstanden tilbage som helhed. Det kraftigste og dyreste, gemt til sidst.

Skriv ned, før du reparerer

Notér, hvad du så: fejllinjen, hvilken tjeneste, hvilket klokkeslæt. Den dag det virker igen, forsvinder grunden, og sker det samme tre måneder senere, har du intet tilbage i hånden.

Hvad Atlas gør

Atlas fastgør den kørende kerne før opdateringen. Selv hvis en ny kerne installeres, bringer genstarten dig altså op på den gamle; at gå over til den nye er et eget og bevidst skridt. Når du går over til den nye kerne, træder opstartsvagten til: den bekræfter, at systemet virkelig kom sundt op, og falder af sig selv tilbage til den gamle kerne, hvis det ikke gjorde.

Før opdateringen tages et øjebliksbillede af rodfilsystemet. På ZFS er det billigt, og at gå tilbage tager minutter; på systemer uden ZFS gemmes pakketilstanden for sig, altså ikke hele systemet, men installationstilstanden kan fortrydes. De sidste fem øjebliksbilleder fra før opdateringer beholdes, ældre ryddes op.

Efter installationen er færdig, kører endnu en kontrol: er de kritiske tjenester oppe, holdes klyngeenigheden stadig. Spørgsmålet "gik noget i stykker" stilles altså, før du bemærker det.

⚠️ Advarslen ovenfor gælder alligevel: at spole rodfilsystemet tilbage som helhed fortryder mere end opdateringen. Atlas holder øjebliksbilledet klar, men beslutningen om at gå tilbage er din.