Når vagten dør: hvorfor stilhed ikke er godt nyt

Du satte advarslerne op. Der er gået uger, og der er ikke kommet en eneste mail.

Der er to forklaringer. Enten er der virkelig ikke sket noget, eller også er advarselssystemet holdt op med at virke, og du ved det ikke. Udefra ser de to fuldstændig ens ud.

Og menneskesindet har tendens til at læse stilhed som godt nyt. Netop derfor lever denne slags fejl i månedsvis uden at blive bemærket.

Det her er et andet problem end et tjek, der tier

Et andet sted i denne wiki skrev vi: når et tjek ikke kan læse sine data, må det ikke tie, det skal sige, at det ikke kunne læse.

Det, vi beskriver her, ligger et trin højere. Der tav et tjek inde i en fungerende vagt. Her er vagten selv væk. Der er ingen tilbage til at tale, altså heller ingen til at sige "jeg kunne ikke læse det".

Hvordan en vagt dør stille

Tjenesten stopper. En opdatering, et nedbrud, for lidt hukommelse. Det, der skulle fortælle dig det, er netop det, der stoppede.

Postvejen brister. En adgangskode ændres, en udbyder blokerer, adressen kommer retur. Vagten arbejder videre, skriver sine beskeder, og ingen af dem når dig. Det her er det mest bedrageriske, for på serversiden ser alt sundt ud.

Nogen slukker og glemmer. Notifikationer slukkes midlertidigt, mens noget undersøges. Problemet løses. Notifikationerne forbliver slukkede.

Maskinen slukker. Yderpunktet: intet er i stykker, alt er bare stille.

De fire har én ting til fælles: ingen af dem laver en besked. Og hvis din måde at opdage en fejl på er at modtage en besked, så er fejl uden besked usynlige for dig.

Løsningen har en anden form: ikke en alarm, men et hjerteslag

Retningen skal vendes om.

En alarm siger: sig til, når noget er galt. Et hjerteslag siger: sig "jeg lever" med jævne mellemrum, også når der ikke sker noget. Og lad så nogen bemærke, hvornår den sigen holder op.

Forskellen betyder noget. En alarm er en besked om et problem; et hjerteslag er en besked om budbringeren selv. De besvarer forskellige spørgsmål, og ingen af dem erstatter den anden.

Så snart der findes et hjerteslag, ændrer stilhedens betydning sig. Stilhed bærer nu information: noget, der burde tale, gør det ikke.

Den, der bemærker det, skal være uden for den overvågede maskine

Det er den del, der er værd at dvæle ved. En maskine kan ikke melde sin egen død.

Stedet, der vurderer hjerteslaget, skal ligge uden for den overvågede server: en anden maskine, en telefon, et ydre punkt. Et tjek, der kører inde i serveren, slukker sammen med serveren og siger ingenting til nogen.

Selv den simpleste hjemmelavede udgave er nok: lad serveren efterlade et mærke et sted hver time, og se på alderen af det mærke. Der kræves ingen indviklet opsætning; det eneste, der kræves, er, at vurderingen sker et andet sted.

Hjerteslaget har sin egen fælde

Her ligger en fin designfejl, og de fleste opsætninger går i den: at binde hjerteslaget til planen for noget, brugeren kan slukke.

Lad os sige, at det deler tidsstyring med det daglige sammendrag. Brugeren slukker sammendraget, fordi det føltes som for meget. Hjerteslaget stopper med. Den ydre part ser signalet ophøre og slår alarm med "ingen nyt fra din server", mens der overhovedet intet er galt.

Du gætter resultatet: brugeren bliver skræmt én gang uden grund og slukker alarmen anden gang. En falsk alarm, som din egen sikkerhedsmekanisme laver, ødelægger tilliden til den mekanisme hurtigere end slet ingen mekanisme.

Reglen: hjerteslaget skal have sin egen plan og ikke hvile på noget, der kan slukkes.

Den samme form et andet sted

I artiklen om sikkerhedskopijobs i denne wiki skrev vi: se ikke på jobbets status, se på alderen af den nyeste sikkerhedskopi.

Den samme form dukker op her: spørg ikke advarselssystemet, om det virker, se på alderen af det seneste signal. En status er en påstand, en alder er en måling.

Og til sidst det ene, der skal gøres på opsætningsdagen: fremkald med vilje en fejl, og se mailen komme. En uprøvet alarm er ikke en mekanisme, den er et håb.

Hvad Atlas gør

Atlas Watch sender et dagligt sammendrag, melder kritiske situationer med det samme uden at vente på sammendraget, og ved siden af det udsender et signal hver time om, at den lever.

Det, der er værd at fortælle, er, hvad det signal ikke er bundet til.

Signalet hviler hverken på det daglige sammendrags plan eller på alarmens. De to har hver deres indstilling, og brugeren kan slukke begge. Hvis signalet afhang af dem, ville det stoppe i samme øjeblik, brugeren slukkede sammendraget, og modparten ville sige "ingen nyt fra denne server", selv om intet var galt. Derfor har signalet sin egen plan.

Den anden detalje følger den samme tanke: så længe notifikationsindstillingen er slukket, bliver signalets planfil slet ikke skrevet. Der er altså ingen mellemtilstand af "tændt, men virker ikke"; enten findes signalet, eller også gør det ikke.

Selve notifikationsvejen er din: du angiver din egen mailserver, og mailen går ud fra din server. At sende et signal til et ydre punkt er en valgfri tilføjelse, og produktet er ikke afhængigt af det for at virke.

Den generelle lære: en sikkerhedsmekanisme må ikke læne sig op ad de slukbare dele af det, den beskytter. Gør den det, dør den stille sammen med det.