Hoe complexe systemen falen

Richard I. Cook, MD Cognitive Technologies Laboratory Universiteit van Chicago

Complexe systemen zijn intrinsiek gevaarlijk

Alle interessante systemen (bijv. transport, gezondheidszorg, energieopwekking) zijn inherent en onvermijdelijk gevaarlijk vanwege hun eigen aard. De frequentie van blootstelling aan gevaren kan soms worden gewijzigd, maar de processen die deel uitmaken van het systeem zijn op zichzelf intrinsiek en onherleidbaar gevaarlijk. Het is de aanwezigheid van deze gevaren die de creatie van verdedigingsmechanismen tegen gevaren aandrijft, die kenmerkend zijn voor deze systemen.

Complexe systemen zijn zwaar en succesvol beveiligd tegen falen

De hoge gevolgen van falen leiden in de loop der tijd tot de constructie van meerdere lagen van verdediging tegen falen. Deze verdedigingen omvatten duidelijke technische componenten (bijv. back-upsystemen, 'veiligheidsfuncties' van apparatuur) en menselijke componenten (bijv. training, kennis), maar ook een verscheidenheid aan organisatorische, institutionele en regelgevende verdedigingen (bijv. beleid en procedures, certificering, werkregels, teamtraining). Het effect van deze maatregelen is het bieden van een reeks schilden die operaties normaal gesproken wegleiden van ongevallen.

Een catastrofe vereist meerdere fouten – enkelvoudige fouten zijn niet voldoende

Het geheel van verdedigingen werkt. Systeemoperaties zijn over het algemeen succesvol. Openlijke catastrofale fouten treden op wanneer kleine, schijnbaar onschuldige fouten samenkomen om een kans te creëren voor een systemisch ongeval. Elke kleine fout is noodzakelijk om een catastrofe te veroorzaken, maar alleen de combinatie is voldoende om falen mogelijk te maken. Met andere woorden: er zijn veel meer kansen op falen dan dat er openlijke systeemongelukken zijn. De meeste initiële faaltrajecten worden geblokkeerd door ontworpen veiligheidscomponenten van het systeem. Trajecten die het operationele niveau bereiken, worden meestal geblokkeerd, gewoonlijk door de professionals.

Complexe systemen bevatten voortdurend veranderende mengsels van latente fouten

De complexiteit van deze systemen maakt het onmogelijk voor hen om te functioneren zonder dat er meerdere gebreken aanwezig zijn. Omdat deze afzonderlijk onvoldoende zijn om falen te veroorzaken, worden ze tijdens de operaties als minder belangrijke factoren beschouwd. De uitroeiing van alle latente fouten wordt primair beperkt door economische kosten, maar ook omdat het vooraf moeilijk is om te zien hoe dergelijke fouten kunnen bijdragen aan een ongeval. De fouten veranderen voortdurend door veranderende technologie, werkorganisatie en pogingen om fouten uit te roeien.

Complexe systemen werken in een gedegradeerde modus

Een corollary van het voorgaande punt is dat complexe systemen functioneren als 'gebroken' systemen. Het systeem blijft functioneren omdat het zoveel redundanties bevat en omdat mensen het kunnen laten werken, ondanks de aanwezigheid van veel gebreken. Na ongevallen wordt bijna altijd opgemerkt dat het systeem een geschiedenis heeft van eerdere 'proto-ongelukken' die bijna een catastrofe veroorzaakten. Argumenten dat deze gedegradeerde omstandigheden vóór het openlijke ongeval hadden moeten worden herkend, zijn meestal gebaseerd op naïve opvattingen over systeemprestaties. Systeemoperaties zijn dynamisch, waarbij componenten (organisatorisch, menselijk, technisch) voortdurend falen en worden vervangen.

Een catastrofe is altijd vlakbij

Complexe systemen bezitten het potentieel voor catastrofaal falen. Menselijke professionals bevinden zich bijna altijd in nauwe fysieke en temporele nabijheid van deze potentiële fouten – een ramp kan op elk moment en op bijna elke plaats plaatsvinden. Het potentieel voor een catastrofale uitkomst is een kenmerk van complexe systemen. Het is onmogelijk om het potentieel voor een dergelijk catastrofaal falen te elimineren; het potentieel voor een dergelijk falen is altijd aanwezig door de aard van het systeem zelf.

Toeschrijving aan een 'grondoorzaak' na een ongeval is fundamenteel onjuist

Omdat openlijk falen meerdere fouten vereist, is er geen geïsoleerde 'oorzaak' van een ongeval. Er zijn meerdere bijdragers aan ongevallen. Elk van deze is noodzakelijkerwijs onvoldoende op zichzelf om een ongeval te veroorzaken. Alleen gezamenlijk zijn deze oorzaken voldoende om een ongeval te creëren. Inderdaad, het is de koppeling van deze oorzaken aan elkaar die de omstandigheden creëert die nodig zijn voor het ongeval. Daarom is isolatie van de 'grondoorzaak' (root cause) van een ongeval niet mogelijk. Evaluaties die gebaseerd zijn op redeneringen zoals 'grondoorzaak' weerspiegelen niet een technisch begrip van de aard van falen, maar eerder de sociale en culturele behoefte om specifieke, gelokaliseerde krachten of gebeurtenissen verantwoordelijk te houden voor uitkomsten. [^1]

[^1]: Antropologisch veldonderzoek biedt de duidelijkste demonstratie van de sociale constructie van het begrip 'oorzaak' (cf. Goldman L (1993), The Culture of Coincidence: accident and absolute liability in Huli, New York: Clarendon Press; en ook Tasca L (1990), The Social Construction of Human Error, ongepubliceerde doctorale scriptie, Department of Sociology, State University of New York at Stonybrook).

Achteraf-bias (hindsight bias) beïnvloedt evaluaties van menselijke prestaties na een ongeval

Kennis van de uitkomst zorgt ervoor dat het lijkt alsof gebeurtenissen die tot de uitkomst leidden, op dat moment prominenter hadden moeten zijn voor de professionals dan in werkelijkheid het geval was. Dit betekent dat een ex post facto analyse van menselijke prestaties na een ongeval onnauwkeurig is. De kennis van de uitkomst vergiftigt het vermogen van waarnemers na het ongeval om het perspectief van de professionals vóór het ongeval over diezelfde factoren te reconstrueren. Het lijkt erop dat professionals "hadden moeten weten" dat de factoren "onvermijdelijk" tot een ongeval zouden leiden. [^2]

Achteraf-bias blijft het primaire obstakel bij ongevalsonderzoeken, vooral wanneer expertprestaties van mensen betrokken zijn.

[^2]: Dit is geen kenmerk van medische of technische oordelen, maar eerder van alle menselijke cognitie over gebeurtenissen uit het verleden en hun oorzaken.

Menselijke operators hebben een dubbele rol: als producenten en als verdedigers tegen falen

De systeemprofessionals bedienen het systeem om het gewenste product te leveren en werken tegelijkertijd aan het voorkomen van ongevallen. Deze dynamische kwaliteit van systeemoperatie, het balanceren van de eisen voor productie tegenover de mogelijkheid van beginnend falen, is onvermijdelijk. Buitenstaanders erkennen zelden de dualiteit van deze rol. In tijden zonder ongevallen wordt de productierol benadrukt. Na ongevallen wordt de rol van verdediging tegen falen benadrukt. In beide gevallen miskent het perspectief van de buitenstaander de constante, gelijktijdige betrokkenheid van de operator bij beide rollen.

Alle handelingen van professionals zijn gokken

Na ongevallen lijkt het openlijke falen vaak onvermijdelijk te zijn geweest en worden de acties van de professional gezien als blunders of bewuste, willige miskenning van een naderend falen. Maar alle handelingen van professionals zijn in feite gokken; dat wil zeggen, handelingen die plaatsvinden in het licht van onzekere uitkomsten. De mate van onzekerheid kan van moment op moment veranderen. Dat acties van professionals gokken zijn, wordt duidelijk na ongevallen; over het algemeen beschouwt een post hoc analyse deze gokken als slechte gokken. Maar het omgekeerde — dat succesvolle uitkomsten ook het resultaat zijn van gokken — wordt niet breed erkend.

Handelingen aan het 'scherpe uiteinde' lossen alle ambiguïteit op

Organisaties zijn ambigu, vaak opzettelijk, over de relatie tussen productiedoelen, efficiënt gebruik van middelen, economie en kosten van operaties, en aanvaardbare risico's van ongevallen met lage en hoge gevolgen. Alle ambiguïteit wordt opgelost door handelingen van professionals aan het 'scherpe uiteinde' (the sharp end) van het systeem. Na een ongeval kunnen acties van professionals worden beschouwd als 'fouten' of 'overtredingen', maar deze evaluaties zijn zwaar beïnvloed door achteraf-bias en negeren andere drijvende krachten, in het bijzonder productiedruk.

Menselijke professionals zijn het aanpasbare element van complexe systemen

Professionals en het eerste niveau van management passen het systeem actief aan om de productie te maximaliseren en ongevallen te minimaliseren. Deze aanpassingen vinden vaak moment op moment plaats. Sommige van deze aanpassingen omvatten:

  • Het herstructureren van het systeem om de blootstelling van kwetsbare delen aan falen te verminderen.
  • Het concentreren van kritieke middelen in gebieden waar een hoge vraag wordt verwacht.
  • Het bieden van paden voor terugtrekking of herstel van verwachte en onverwachte fouten.
  • Het vaststellen van middelen voor vroege detectie van gewijzigde systeemprestaties, om een geleidelijke afbouw van de productie of andere middelen om de veerkracht te vergroten mogelijk te maken.

Menselijke expertise in complexe systemen is voortdurend in beweging

Complexe systemen vereisen aanzienlijke menselijke expertise in hun bediening en beheer. Deze expertise verandert van karakter naarmate de technologie verandert, maar verandert ook door de noodzaak om experts die vertrekken te vervangen. In elk geval is training en verfijning van vaardigheid en expertise een onderdeel van de functie van het systeem zelf. Op elk gegeven moment zal een complex systeem dus professionals en trainees bevatten met verschillende graden van expertise. Kritieke kwesties met betrekking tot expertise vloeien voort uit:

  1. De noodzaak om schaarse expertise in te zetten als middel voor de moeilijkste of meest veeleisende productiebehoeften.
  2. De noodzaak om expertise te ontwikkelen voor toekomstig gebruik.

Verandering introduceert nieuwe vormen van falen

Het lage aantal openlijke ongevallen in betrouwbare systemen kan aanzetten tot veranderingen, met name het gebruik van nieuwe technologie, om het aantal fouten met lage gevolgen maar hoge frequentie te verminderen. Deze veranderingen kunnen echter juist kansen creëren voor nieuwe, laagfrequente maar hoog-consequente fouten. Wanneer nieuwe technologieën worden gebruikt om goed begrepen systeemfouten te elimineren of om hoogprecisieprestaties te behalen, introduceren ze vaak nieuwe paden naar grootschalige, catastrofale fouten. Niet ongebruikelijk hebben deze nieuwe, zeldzame catastrofes een nog grotere impact dan die welke werden geëlimineerd door de nieuwe technologie. Deze nieuwe vormen van falen zijn vooraf moeilijk te voorzien; de aandacht gaat vooral uit naar de vermeende gunstige kenmerken van de veranderingen. Omdat deze nieuwe, hoog-consequente ongevallen met een lage frequentie voorkomen, kunnen er meerdere systeemwijzigingen plaatsvinden voordat een ongeval gebeurt, waardoor het moeilijk is om de bijdrage van technologie aan het falen te zien.

Opvattingen over 'oorzaak' beperken de effectiviteit van verdedigingen tegen toekomstige incidenten

Herstelmaatregelen na een ongeval voor "menselijke fouten" zijn meestal gebaseerd op het blokkeren van activiteiten die ongevallen kunnen "veroorzaken". Deze maatregelen aan het einde van de keten dragen weinig bij aan het verminderen van de waarschijnlijkheid van verdere ongevallen. In feite is de waarschijnlijkheid van een identiek ongeval al buitengewoon laag, omdat het patroon van latente fouten voortdurend verandert. In plaats van de veiligheid te vergroten, verhogen maatregelen na een ongeval meestal de koppeling en complexiteit van het systeem. Dit vergroot het potentiële aantal latente fouten en maakt de detectie en blokkering van ongevallentrajecten moeilijker.

Veiligheid is een kenmerk van systemen en niet van hun componenten

Veiligheid is een emergente eigenschap van systemen; het bevindt zich niet in een persoon, apparaat of afdeling van een organisatie of systeem. Veiligheid kan niet worden gekocht of gefabriceerd; het is geen kenmerk dat losstaat van de andere componenten van het systeem. Dit betekent dat veiligheid niet kan worden gemanipuleerd als een grondstof of ruw materiaal. De staat van veiligheid in elk systeem is altijd dynamisch; voortdurende systemische verandering zorgt ervoor dat gevaar en het beheer ervan constant veranderen.

Mensen creëren voortdurend veiligheid

Foutloze operaties zijn het resultaat van activiteiten van mensen die ervoor zorgen dat het systeem binnen de grenzen van toelaatbare prestaties blijft. Deze activiteiten maken voor het grootste deel deel uit van normale operaties en zijn oppervlakkig gezien eenvoudig. Maar omdat systeemoperaties nooit probleemloos zijn, creëren menselijke aanpassingen aan veranderende omstandigheden daadwerkelijk veiligheid van moment op moment. Deze aanpassingen komen vaak neer op het selecteren van een goed geoefende routine uit een voorraad beschikbare reacties; soms zijn de aanpassingen echter nieuwe combinaties of de novo creaties van nieuwe benaderingen.

Foutloze operaties vereisen ervaring met falen

Het herkennen van gevaar en het succesvol manipuleren van systeemoperaties om binnen de toelaatbare prestatiegrenzen te blijven, vereist nauw contact met falen. Robuustere systemprestaties ontstaan waarschijnlijk in systemen waar operators de "edge of the envelope" (de grens van het veilige gebied) kunnen onderscheiden. Dit is waar de systemprestaties beginnen te verslechteren, moeilijk te voorspellen worden of niet gemakkelijk hersteld kunnen worden. In intrinsiek gevaarlijke systemen wordt van operators verwacht dat ze gevaren tegenkomen en begrijpen op een manier die leidt tot een gewenste algehele prestatie. Verbeterde veiligheid hangt af van het bieden van gekalibreerde inzichten in de gevaren aan de operators. Het hangt ook af van het bieden van kalibratie over hoe hun acties de systemprestaties richting of weg van de "edge of the envelope" bewegen.

Overige materialen

  • Cook, Render, Woods (2000). Gaps in the continuity of care and progress on patient safety. British Medical Journal 320: 791-4.
  • Cook (1999). A Brief Look at the New Look in error, safety, and failure of complex systems. (Chicago: CtL).
  • Woods & Cook (1999). Perspectives on Human Error: Hindsight Biases and Local Rationality. In Durso, Nickerson, et al., eds., Handbook of Applied Cognition. (New York: Wiley) pp. 141-171.
  • Woods & Cook (1998). Characteristics of Patient Safety: Five Principles that Underlie Productive Work. (Chicago: CtL)
  • Cook & Woods (1994), “Operating at the Sharp End: The Complexity of Human Error,” in MS Bogner, ed., Human Error in Medicine, Hillsdale, NJ; pp. 255-310
  • Woods, Johannesen, Cook, & Sarter (1994), Behind Human Error: Cognition, Computers and Hindsight, Wright Patterson AFB: CSERIAC.
  • Cook, Woods, & Miller (1998), A Tale of Two Stories: Contrasting Views of Patient Safety, Chicago, IL: NPSF