Der skete noget i nat: hvor optegnelsen faktisk ligger

Maskinen genstartede i løbet af natten, og ingen bad den om det. Alt kører igen, intet er tydeligt i stykker, og den eneste ærlige sætning nogen kan sige er denne: der skete noget.

Overvågning har tre optegnelser, og de svarer på tre forskellige spørgsmål. En advarsel siger at der skete noget. En metrik siger hvilken form det havde. En log siger hvorfor. Denne tekst handler om den tredje, og om det ubehagelige faktum, at netop loggen over det interessante minut oftest er væk.

Det første spørgsmål er mindre, end man tror

Før alle hardwareteorier: stil det billigste spørgsmål, der findes. Blev den lukket ned, eller døde den?

En enkelt linje svarer på det. En pæn nedlukning efterlader en signatur i slutningen af den forrige opstarts log: logtjenesten noterer, at den blev bedt om at stoppe, og noterer derefter, at den stoppede. En maskine, der mistede strømmen, efterlader slet ingen slutning. Optegnelsen holder simpelthen op midt i almindelig aktivitet.

Den ene skelnen deler hele undersøgelsen i to. En pæn slutning betyder, at noget besluttede at genstarte, så led efter hvem der bad om det: en opdatering, en vagthund, et planlagt job, et menneske. Ingen slutning betyder, at maskinen blev afbrudt, så se på strøm, varme, hukommelse og lagringen nedenunder.

Men kun hvis den forrige opstart stadig findes

Her ligger fælden. Journalen gemmer kun historik varigt, når en bestemt mappe findes på disken. Mangler den, lever journalen i hukommelsen, og hver genstart sletter præcis det bevis, du kom efter. Der kommer ingen fejl og ingen advarsel; du beder om den forrige opstart og får at vide, at der ikke er nogen.

Det tjekker man hellere en rolig eftermiddag end den morgen, man har brug for det. Det er én mappe, og den afgør forskellen mellem at have en optegnelse og at tro, man har en.

Den har desuden samme form som en fælde, der fortjener at blive nævnt to gange: en optager, der deler skæbne med det optagne. Grafen, du helst vil have, er den, der holdt op med at blive skrevet i det øjeblik, det blev interessant; og loggen, du helst vil have, hører til den opstart, der ikke findes længere.

Filen, som det halve internet beder dig læse, er der måske ikke

Målt på en aktuel installation, Proxmox VE 9.2.6 på Debian 13.6: den klassiske systemlogtjeneste er ikke installeret, og /var/log/syslog findes ikke.

Det vejer tungere, end det lyder. En stor del af fejlfindingsrådene fra de seneste femten år begynder med "kig i /var/log/syslog". På en aktuel maskine giver den kommando ingenting, og for en, der er under pres, læses resultatet som *jeg har ingen logfiler* i stedet for *jeg kigger det forkerte sted*. Systemoptegnelsen er i dag journalen, og den åbnes ikke i en teksteditor, den forespørges.

Proxmox fører en anden optegnelse, og den svarer på et andet spørgsmål

Adskilt fra systemjournalen fører Proxmox VE sin egen opgavelog. Enhver handling, der startes fra webgrænsefladen eller API'et, bliver til en opgave med en identitet, et starttidspunkt, et sluttidspunkt og en slutstatus, og ved siden af de enkelte opgavefiler ligger en indeksfil. På en enkelt labvært indeholdt det indeks 283 linjer, med omkring 960 opgavefiler bagved.

De to optegnelser er gode til forskellige ting. Journalen er god til "hvad lavede systemet". Opgaveloggen er god til "hvem bad om hvad, og blev det færdigt". Når en virtuel maskine bærer et øjebliksbillede, ingen husker at have taget, eller en ændring dukker op uden ophavsmand, svarer opgaveloggen som regel hurtigere end journalen, for den er en liste over hensigter og ikke en strøm af hændelser.

Bestem loftet, før du får brug for historikken

Som standard udtrykkes journalens grænse som en andel af filsystemet og ikke som en tidslængde. På værten, der blev målt ovenfor, var ingen udtrykkelig grænse sat, og journalen var vokset til omkring 276 MB.

To tal er værd at kende på forhånd: hvor meget plads journalen må tage, og hvor langt tilbage det faktisk rækker på den maskine. Rækkefølgen betyder noget, og det er den samme som for metrikker. Bestem hvor langt tilbage du skal kunne se, og vælg så indstillingen, der rækker dertil. At opdage svaret midt i en hændelse er at opdage, at svaret lyder "ikke langt nok".

Hvad Atlas gør, og hvad det ikke gør

Atlas erstatter ikke journalen og forsøger ikke at læse dine logfiler for dig. Der findes ingen logsøgning her, og at påstå andet ville sikre dig en dårlig morgen.

Det, Atlas bærer, er den første halvdel: det daglige sammendrag melder en uplanlagt genstart som et faktum, med maskine og tidspunkt, så spørgsmålet overhovedet bliver stillet. Læsningen er stadig din, og svaret bor stadig i journalen.

Det er hele pointen. Den værste udgave af i nat er ikke den genstart, du undersøgte med den forkerte fil åben. Det er den genstart, ingen bemærkede, for en optegnelse, ingen nogensinde åbner, svarer ikke på noget.