Close

De weg naar beter incidentmanagement begint hier

Waarschuwingsmoeheid begrijpen en bestrijden

In 2013 kreeg een 16-jarige jongen in een van de beste ziekenhuizen van de VS een overdosis van 3800% van zijn medicatie.

Het ingebouwde waarschuwingssysteem van het ziekenhuis merkte de bestelling van een overdosis op en stuurde waarschuwingen naar een arts en een apotheker. En toch, korte tijd later, werd de overdosis toegediend en begonnen de aanvallen, gevoelloosheid van het hele lichaam en de strijd om het leven van de jongen.

PDF-voorbeeld van op afroep-boek

Download ons op afroep-boek

Leer hoe je een effectief programma kunt maken en implementeren in deze essentiële gids

Hoe kon dit gebeuren — vooral toen het veiligheidssysteem het probleem opving voordat de medicatie aan het bed van de jongen arriveerde?

Het antwoord is waarschuwingsmoeheid.

Zowel de arts als de apotheker negeerden de waarschuwing van het systeem omdat datzelfde systeem waarschuwingen genereert voor ongeveer 50% van de honderden recepten die ze elke dag behandelen. Ze hadden vernomen dat de meeste van die waarschuwingen valse waarschuwingen waren, en als verwerkingsmechanisme gaven ze de waarschuwingen slechts een vluchtige blik.

En dus nam een jongen die een enkele pil had moeten nemen 38 pillen. En hoewel hij het uiteindelijk overleefde, waren de gevolgen voor zijn gezondheid aanzienlijk.

Verhalen zoals deze komen vaak voor en zijn te vaak dodelijk in ziekenhuizen en de luchtvaartindustrie. Uit een onderzoek uit 2013 bleek zelfs dat 19 van de 20 ziekenhuizen waarschuwingsmoeheid rangschikken als hun belangrijkste veiligheidsprobleem.

En hoewel de risico's verschillend zijn, is waarschuwingsmoeheid ook gebruikelijk voor IT- en DevOps-teams, omdat ze de 'always-on'-technologie bewaken die onze bedrijven drijft.

Wat is waarschuwingsmoeheid?

Waarschuwingsmoeheid, ook wel alarmmoeheid genoemd, gebeurt wanneer een overweldigend aantal waarschuwingen de mensen die erop moeten reageren, ongevoelig maakt, wat leidt tot gemiste of genegeerde waarschuwingen of vertraagde reacties.

Het grootste probleem is volgens de meesten het enorme aantal waarschuwingen. Een enkele waarschuwing is gemakkelijk te beantwoorden, zelfs als deze het normale werk of de vrije tijd van een op afroep-werknemer onderbreekt. Een dozijn waarschuwingen achter elkaar is moeilijker. En hoe hoger het aantal wordt, hoe groter de kans is dat een werknemer iets belangrijks mist.

Deze kwestie wordt nog verergerd door het feit dat veel waarschuwingen valse alarmen zijn. In de medische industrie toont onderzoek aan dat tussen de 72 en 99% van alle klinische alarmen vals is. Op het gebied van beveiliging bleek uit een enquête dat 52% van de waarschuwingen vals was en 64% overbodig.

Dit grote aantal valse waarschuwingen traint werknemers om aan te nemen dat de meeste waarschuwingen vals zullen zijn en dienovereenkomstig handelen, net zoals de arts en apotheker hierboven beide de waarschuwing voor overdosering van het systeem hebben afgesloten, ervan uitgaande dat het weer een onbelangrijk alarm was.

Drie fasen van waarschuwingsmoeheid
Drie fasen van incidentmoeheid

De psychologie van waarschuwingsmoeheid

Waarschuwingsmoeheid is een van de top 10 veiligheidsproblemen van ziekenhuizen omdat het mentaal uitsluiten van frequente waarschuwingen een typische psychologische reactie is op een overweldigend aantal waarschuwingen.

De reden hiervoor is wat we normalisatie, desensibilisatie of gewenning noemen - drie concepten die in wezen hetzelfde betekenen: hoe meer je aan iets wordt blootgesteld, hoe meer je het tolereert, normaliseert en negeert.

Dit geldt voor zowel werk als leven buiten het werk. Bijvoorbeeld, romantische films met overdreven hardnekkige mannelijke hoofdrollen hebben een meetbare invloed op de tolerantie van vrouwen voor stalkergedrag in het echte leven. Normalisatie van apathie rond de primaire O-ring op de Challenger-spaceshuttle leidde tot de Challenger-explosie in 1986. En toen het Petrified Forest National Park in Arizona borden opzette om mensen te ontmoedigen het versteende hout van het park te stelen, werkten de borden averechts: ze normaliseerden de diefstal en er werd juist meer gestolen.

Net zoals een eindeloze stroom neptelefoontjes ertoe kan leiden dat je een nummer blokkeert of je telefoon uitschakelt, leidt een eindeloze stroom valse, overbodige of onbelangrijke waarschuwingen er vaak toe dat je ze negeert. Het is de menselijke aard.

En het is niet alleen de normalisatie van waarschuwingen in het algemeen die hier meespeelt. Herhaling van dezelfde waarschuwing veroorzaakt een nog grotere waarschuwingsmoeheid. Uit een onderzoek bleek dat voor clinici de kans op het accepteren van een waarschuwing met 30% daalde bij elke herinnering.

De risico's van waarschuwingsmoeheid

Gemiste of genegeerde waarschuwingen

Net als in het voorbeeld van de ongelukkige tiener in het ziekenhuis hierboven, wordt het grootste risico voor waarschuwingsmoeheid gemiste of genegeerde waarschuwingen. Wanneer een waarschuwingssysteem te vaak loos alarm heeft geslagen of gevaarlijke waarschuwingen (zoals een overdosis van 3800%) niet onderscheidt van kleine waarschuwingen (zoals een overdosis van 0,1%), conditioneren werknemers zichzelf om minder aandacht te besteden aan die waarschuwingen.

In DevOps en IT Ops kan dit leiden tot meer incidenten en grote gevolgen voor zowel omzet, kosten als merkreputatie.

Langzame responstijden

Waarschuwingsmoeheid heeft ook invloed op de responstijden. Zelfs als waarschuwingen niet worden gemist of permanent worden genegeerd, kunnen ze tijdelijk worden genegeerd. Immers, als de laatste 10 waarschuwingen die binnenkwamen valse waarschuwingen waren, is er dan nog steeds evenveel kans dat een op afroep-werknemer zijn eten of slaap in de steek laat voor de 11e waarschuwing als voor de eerste? Of willen ze gewoon eerst hun diner opeten?

Burn-out

Constante waarschuwingen, slaaponderbrekingen en volle inboxen zijn een recept voor burn-out bij werknemers en kunnen leiden tot hoger personeelsverloop, lagere werktevredenheid en lagere productiviteit.

Hoe je waarschuwingsmoeheid kunt voorkomen

Waarschuwingsmoeheid is een groot probleem in verschillende sectoren en een probleem dat ernstige gevolgen heeft. Hoe vermijden we dan de genegeerde waarschuwingen, trage reactietijden en burn-out bij werknemers? Deskundigen wijzen op de waarschuwingsprocessen en het -beleid zelf als de weg voorwaarts.

Intelligente drempels instellen

Een manier om te voorkomen dat waarschuwingen je op afroep-professionals overweldigen, is door intelligente drempels voor hen in te stellen. De belangrijkste vraag hierbij is: heeft elke waarschuwing onmiddellijke aandacht nodig? Zijn alle waarschuwingen even belangrijk? Welke problemen vereisen een onmiddellijke waarschuwing en welke kunnen er tijdens normale werkuren worden opgelost?

Het antwoord is altijd een evenwichtsoefening. Omdat te weinig waarschuwingen kunnen leiden tot gemiste incidenten, maar te veel waarschuwingen ook kunnen leiden tot gemiste incidenten vanwege waarschuwingsmoeheid.

De evenwichtsoefening is moeilijk voor elk technologiebedrijf, maar zonder te proberen die balans te vinden, vergissen systemen zich meestal aan de kant van te veel waarschuwingen en creëren ze situaties zoals het eerdere voorbeeld dat leidde tot de overdosis van 3800%.

De luchtvaart lijkt voorop te lopen in het succesvol bestrijden van waarschuwingsmoeheid en een deel van de reden is dat ze hun drempels hoog hebben ingesteld. De computer kan meer dan 10.000 datapunten volgen, maar het percentage vluchten met waarschuwingen - zelfs kleine - is minder dan 10%.

Zoals gezagvoerder Chesley 'Sully' Sullenberger opmerkt in een artikel van Medium Backchannel:

'De waarschuwingen in cockpits krijgen nu prioriteit, zodat je geen waarschuwingsmoeheid krijgt ... We werken heel hard om valse positieven te vermijden, omdat valse positieven een van de ergste dingen zijn die je met elk waarschuwingssysteem kunt doen. Het zorgt ervoor dat mensen ze gewoon negeren.'

Stel prioriteiten voor gelaagde waarschuwingen in

Als niet alle waarschuwingen even belangrijk zijn, mogen ze niet op dezelfde manier worden weergegeven in het goedkeuringsformulier van een arts, de inbox van een ontwikkelaar of het dashboard van een piloot. Het stellen van waarschuwingsprioriteiten en het gebruik van visuele, hoorbare en sensorische signalen om het belang aan te geven, kan waarschuwingsmoeheid met een grote marge verminderen.

In het geval van de overdosis van 3800% was een groot deel van het probleem dat het systeem zeer lage alarmdrempels had en elke waarschuwing dezelfde prioriteit kreeg. Een waarschuwing voor overdosering van 0,1% zag er hetzelfde uit als een waarschuwing voor een overdosis van 3800%. En met 50% van de medicatieverzoeken die deze waarschuwingen genereerden, hadden clinici geleerd ze allemaal te negeren.

Nogmaals, de luchtvaartindustrie geeft een goed voorbeeld van niet alleen agressief niveaus vaststellen voor hun prioriteiten, maar ook duidelijk prioriteit aangeven met een verscheidenheid aan visuele en sensorische signalen. De enige keer dat een rode waarschuwing — door middel van rode lichten, een rood tekstbericht, een spraakwaarschuwing en een trilling in het stuurmechanisme — op het dashboard van een piloot verschijnt, is als het vliegtuig onmiddellijk gevaar loopt om te stoppen en de piloot onmiddellijk actie moet ondernemen. Niemand wil dat deze waarschuwingen worden genegeerd en dus krijgen ze hun eigen speciale categorie.

Andere waarschuwingen - zelfs waarschuwingen die alarmerend klinken voor degenen onder ons die vaak vliegen, zoals een motorbrand of verlies van cabinedruk - worden gedegradeerd tot seinen (gebeurtenissen die van invloed zijn op de vliegroute van een vliegtuig), inlichtingen (gebeurtenissen die onmiddellijk bewustzijn van de piloot vereisen, maar mogelijk geen onmiddellijke actie vereisen), en adviezen (gebeurtenissen waarbij geen actie vereist is, maar de piloot moet weten dat er iets is gebeurd).

Naarmate het belang van de waarschuwingen afneemt, nemen ook de visuele, hoorbare en sensorische signalen rond die waarschuwing af. Seinen verdienen rode lichten, tekstberichten en spraakwaarschuwingen (maar geen trillend stuurmechanisme). Inlichtingen activeren over het algemeen oranje lichten en tekstberichten. En adviezen zijn oranje tekstberichten, geen lampjes.

Piloten weten onmiddellijk, op basis van deze signalen, welke waarschuwingen prioritaire aandacht nodig hebben en welke redelijkerwijs even kunnen worden genegeerd als ze te maken hebben met een andere belangrijke taak of een reeks waarschuwingen die prioriteit moeten krijgen.

Zorg ervoor dat waarschuwingen uitvoerbaar zijn

Vage waarschuwingen vereisen meer focus, aandacht en tijd dan specifieke, actiegerichte waarschuwingen. Voor werknemers die al vermoeid zijn door het enorme aantal waarschuwingen, is de noodzaak van meer focus en aandacht een recept voor lage productiviteit en gemiste waarschuwingen.

Dit is nog een situatie waar we kunnen leren van de luchtvaartindustrie. Voor elk soort waarschuwing dat op het dashboard van de piloot wordt weergegeven, is er ook een actiegerichte checklist die overeenkomt met de waarschuwing.

Overbodige waarschuwingen consolideren

Overbodige waarschuwingen zijn een van de belangrijkste boosdoeners bij waarschuwingsmoeheid. Uit één onderzoek bleek dat voor elke herinnering aan dezelfde waarschuwing de aandacht van de gewaarschuwd persoon 30% daalde. Een ander onderzoek wees uit dat meer dan 60% van alle waarschuwingen in beveiligingssystemen overbodig was.

Het consolideren van deze waarschuwingen en het verminderen van herinneringen waar mogelijk kan helpen om de waarschuwingsbelasting beter beheersbaar te houden, wat leidt tot meer aandacht van werknemers.

Creëer gebalanceerde roosters

Zelfs met intelligente drempels en trapsgewijze systemen kunnen bedrijven (vooral grote bedrijven) een groot aantal waarschuwingen verwerken.

Als je eenmaal systemen hebt geoptimaliseerd, is het ook waardevol om naar processen en mensen te kijken. Heb je genoeg op afroep-professionals? Valt de last van waarschuwingen te zwaar op één persoon of team en kan die last worden verdeeld? Hoe vaak komen waarschuwingen voor? Zijn er bepaalde tijden die meer of minder dekking nodig hebben?

Informatie consolideren

De gemiddelde DevOps-professional gebruikt minstens vijf tools om prestatieproblemen tot op de bodem uit te zoeken. Dit betekent meerdere locaties, stijlen en typen voor waarschuwingen. Het betekent ook veel dubbel werk. Als elk van de vijf systemen een vergelijkbare waarschuwing heeft, dan heb je de werklast met betrekking tot waarschuwingen effectief met 500% verhoogd.

Hoe meer je waarschuwingen en informatie kunt consolideren, hoe meer je de vermoeidheid van het doorzoeken van die waarschuwingen en de bijbehorende informatie kunt verminderen.

Prioriteit geven aan voortdurende beoordeling en verbetering

Er is geen eenmalige, universele oplossing voor waarschuwingsmoeheid en de gevaren die daarmee gepaard gaan. Het is essentieel om je processen, waarschuwingen en systemen regelmatig te herzien om er zeker van te zijn dat je de juiste balans vindt.

Worden waarschuwingen gemist? Zo ja, waarom? Zijn je drempels te hoog of te laag ingesteld? Werken visuele aanwijzingen niet? Hebben werknemers de waarschuwingen genormaliseerd en zou het veranderen van hun uiterlijk de aandacht vergroten? Deze en andere soortgelijke vragen moeten regelmatig opnieuw worden bekeken.

Ontdek de consoliderende voordelen van Jira Service Management met Opsgenie en ontdek hoe flexibiliteit van waarschuwingen en aanpassingsfuncties in actie werken.