Noe skjedde i natt: hvor opptegnelsen faktisk ligger

Maskinen startet på nytt i løpet av natten, og ingen ba den om det. Alt kjører igjen, ingenting er åpenbart ødelagt, og den eneste ærlige setningen noen kan si er denne: noe skjedde.

Overvåking har tre opptegnelser, og de svarer på tre ulike spørsmål. Et varsel sier at noe skjedde. En måling sier hvilken form det hadde. En logg sier hvorfor. Denne teksten handler om den tredje, og om det ubehagelige faktum at nettopp loggen over det interessante minuttet oftest er borte.

Det første spørsmålet er mindre enn du tror

Før alle maskinvareteorier, still det billigste spørsmålet som finnes: ble den slått av, eller døde den?

En eneste linje svarer på det. En ryddig avslutning legger igjen en signatur på slutten av forrige oppstarts logg: loggtjenesten noterer at den ble bedt om å stoppe, og noterer deretter at den stoppet. En maskin som mistet strømmen legger ikke igjen noen slutt i det hele tatt. Opptegnelsen stopper rett og slett midt i vanlig aktivitet.

Denne ene forskjellen deler hele undersøkelsen i to. En ryddig slutt betyr at noe bestemte seg for å starte på nytt, så let etter hvem som ba om det: en oppdatering, en vakthund, en planlagt jobb, et menneske. Ingen slutt betyr at maskinen ble avbrutt, så se på strøm, varme, minne og lagringen under.

Men bare hvis forrige oppstart fortsatt finnes

Her ligger fella. Journalen tar vare på historikk varig bare når en bestemt katalog finnes på disken. Mangler den, lever journalen i minnet, og hver omstart sletter nøyaktig det beviset du kom for å hente. Det kommer ingen feil og ingen advarsel; du ber om forrige oppstart og får vite at det ikke finnes noen.

Det sjekker man heller en rolig ettermiddag enn den morgenen man trenger det. Det er én katalog, og den avgjør forskjellen mellom å ha en opptegnelse og å tro at man har en.

Den har dessuten samme form som en felle verdt å navngi to ganger: en opptaker som deler skjebne med det som tas opp. Grafen du vil ha mest er den som sluttet å bli skrevet i det øyeblikket det ble interessant; og loggen du vil ha mest hører til oppstarten som ikke lenger finnes.

Fila halve internett ber deg lese, finnes kanskje ikke

Målt på en aktuell installasjon, Proxmox VE 9.2.6 på Debian 13.6: den klassiske systemloggtjenesten er ikke installert, og /var/log/syslog finnes ikke.

Det veier tyngre enn det høres ut. En stor del av feilsøkingsrådene fra de siste femten årene begynner med "se i /var/log/syslog". På en aktuell maskin gir den kommandoen ingenting, og for en som står under press leses resultatet som *jeg har ingen logger* i stedet for *jeg leter på feil sted*. Systemopptegnelsen er i dag journalen, og den åpnes ikke i en tekstbehandler, den spørres.

Proxmox fører en andre opptegnelse, og den svarer på et annet spørsmål

Atskilt fra systemjournalen fører Proxmox VE sin egen oppgavelogg. Hver operasjon som startes fra webgrensesnittet eller API-et blir en oppgave med en identitet, et starttidspunkt, et sluttidspunkt og en sluttstatus, og ved siden av de enkelte oppgavefilene ligger en indeksfil. På én enkelt labvert inneholdt den indeksen 283 linjer, med rundt 960 oppgavefiler bak.

De to opptegnelsene er gode på ulike ting. Journalen er god på "hva gjorde systemet". Oppgaveloggen er god på "hvem ba om hva, og ble det ferdig". Når en virtuell maskin bærer et øyeblikksbilde ingen husker å ha tatt, eller en endring dukker opp uten opphavsmann, svarer oppgaveloggen som regel raskere enn journalen, for den er en liste over hensikter og ikke en strøm av hendelser.

Bestem taket før du trenger historikken

Som standard uttrykkes journalens grense som en andel av filsystemet og ikke som en tidslengde. På verten som ble målt over var ingen uttrykkelig grense satt, og journalen hadde vokst til rundt 276 MB.

To tall er verdt å kjenne på forhånd: hvor mye plass journalen får ta, og hvor langt tilbake det faktisk rekker på den maskinen. Rekkefølgen betyr noe, og det er den samme som gjelder for målinger. Bestem hvor langt tilbake du må se, velg så innstillingen som rekker dit. Å oppdage svaret midt i en hendelse er å oppdage at svaret er "ikke langt nok".

Hva Atlas gjør, og ikke gjør

Atlas erstatter ikke journalen og prøver ikke å lese loggene dine for deg. Det finnes ikke loggsøk her, og å påstå noe annet ville ordne en dårlig morgen for deg.

Det Atlas bærer er den første halvdelen: den daglige oppsummeringen melder en uplanlagt omstart som et faktum, med maskin og tidspunkt, slik at spørsmålet i det hele tatt blir stilt. Lesingen er fortsatt din, og svaret bor fortsatt i journalen.

Det er hele poenget. Den verste versjonen av i natt er ikke omstarten du undersøkte med feil fil åpen. Det er omstarten ingen la merke til, for en opptegnelse ingen noen gang åpner svarer på ingenting.