Något hände i natt: var anteckningen faktiskt finns

Maskinen startade om under natten och ingen bad den om det. Allt kör igen, inget är uppenbart trasigt, och den enda ärliga mening någon kan säga är denna: något hände.

Övervakning har tre anteckningar och de svarar på tre olika frågor. Ett larm säger att något hände. Ett mätvärde säger vilken form det hade. En logg säger varför. Den här texten handlar om den tredje, och om det obekväma faktum att just loggen över den intressanta minuten oftast är borta.

Första frågan är mindre än man tror

Före alla hårdvaruteorier, ställ den billigaste frågan som finns: stängdes den av, eller dog den?

En enda rad svarar. En ren avstängning lämnar en signatur i slutet av föregående starts logg: loggtjänsten noterar att den blev ombedd att stanna, och noterar sedan att den stannade. En maskin som förlorade strömmen lämnar inget slut alls. Anteckningen upphör helt enkelt mitt i vanlig aktivitet.

Den enda skillnaden delar hela utredningen i två. Ett rent slut betyder att något beslutade att starta om, så leta efter vem som bad om det: en uppdatering, en vakthund, ett schemalagt jobb, en människa. Inget slut betyder att maskinen avbröts, så titta på ström, värme, minne och lagringen under.

Men bara om den föregående starten fortfarande finns

Här ligger fällan. Journalen sparar historik varaktigt bara när en viss katalog finns på disken. Saknas den lever journalen i minnet, och varje omstart raderar exakt det bevis du kom för att hämta. Det blir inget fel och ingen varning; du ber om föregående start och får veta att det inte finns någon.

Det kontrollerar man hellre en lugn eftermiddag än den morgon man behöver det. Det är en katalog, och den avgör skillnaden mellan att ha en anteckning och att tro att man har en.

Det har dessutom samma form som en fälla värd att namnge två gånger: en inspelare som delar öde med det inspelade. Grafen du vill ha mest är den som slutade skrivas i samma stund som det blev intressant; och loggen du vill ha mest hör till den start som inte längre finns.

Filen halva internet ber dig läsa finns kanske inte

Uppmätt på en aktuell installation, Proxmox VE 9.2.6 på Debian 13.6: den klassiska systemloggtjänsten är inte installerad, och /var/log/syslog finns inte.

Det väger tyngre än det låter. En stor del av felsökningsråden från de senaste femton åren börjar med "titta i /var/log/syslog". På en aktuell maskin ger det kommandot ingenting, och för någon under press läses resultatet som *jag har inga loggar* i stället för *jag letar på fel ställe*. Systemanteckningen är i dag journalen, och den öppnas inte i en textredigerare, den frågas.

Proxmox för en andra anteckning, och den svarar på en annan fråga

Skild från systemjournalen för Proxmox VE en egen uppgiftslogg. Varje åtgärd som startas via webbgränssnittet eller API:et blir en uppgift med en identitet, en starttid, en sluttid och en slutstatus, och bredvid de enskilda uppgiftsfilerna ligger en indexfil. På en enda labbvärd innehöll det indexet 283 rader, med ungefär 960 uppgiftsfiler bakom.

De två anteckningarna är bra på olika saker. Journalen är bra på "vad gjorde systemet". Uppgiftsloggen är bra på "vem bad om vad, och blev det klart". När en virtuell maskin bär en ögonblicksbild som ingen minns att de tog, eller en ändring dyker upp utan upphovsman, svarar uppgiftsloggen oftast snabbare än journalen, för den är en lista över avsikter och inte ett flöde av händelser.

Bestäm taket innan du behöver historiken

Som standard uttrycks journalens gräns som en andel av filsystemet och inte som en tidslängd. På värden som mättes ovan var ingen uttrycklig gräns satt och journalen hade vuxit till omkring 276 MB.

Två tal är värda att känna i förväg: hur mycket plats journalen får ta, och hur långt tillbaka det faktiskt räcker på den maskinen. Ordningen spelar roll, och det är samma ordning som gäller för mätvärden. Bestäm hur långt tillbaka du behöver se, välj sedan inställningen som når dit. Att upptäcka svaret mitt i en incident är att upptäcka att svaret är "inte tillräckligt långt".

Vad Atlas gör, och inte gör

Atlas ersätter inte journalen och försöker inte läsa dina loggar åt dig. Det finns ingen loggsökning här, och att påstå annat vore att ordna en dålig morgon åt dig.

Det Atlas bär är den första halvan: den dagliga sammanfattningen rapporterar en oplanerad omstart som ett faktum, med maskin och tidpunkt, så att frågan alls ställs. Läsningen är fortfarande din och svaret bor fortfarande i journalen.

Det är hela poängen. Den värsta versionen av i natt är inte omstarten du utredde med fel fil öppen. Det är omstarten ingen märkte, för en anteckning ingen någonsin öppnar svarar på ingenting.