Er werd naar een programma geluisterd.
Een omgevingsschrijver, bedoeld om te helpen, maakte een briefje waarin stond dat aan een patiënt medicatie was voorgeschreven voor een posttraumatische stressstoornis.
Er was geen diagnose PTSS.
Er werd niet over medicatie gesproken.
Het was een complete hallucinatie, geboren uit zowel stilte als lawaai.
Gelukkig stierf het briefje in de kliniek. Dr. Jennifer Shannon, een kinderpsychiater en CMO van Glacis, merkte het op. Ze heeft het transcript zelf gelezen. Niets daar rechtvaardigde de bewering.
“De standaardinstelling voor human-in-the-loop… is niet genoeg.”
Stel je twintig patiënten per dag voor. Pagina’s met automatisch gegenereerde notities voor elk.
Wie leest het allemaal?
Niet de vermoeide arts op een dinsdagmiddag met dertig berichten in de inbox en een kind dat wacht op een ritje. Mensen falen. Ze zijn bezig. Ze zijn oververmoeid. Het verwachten van perfecte waakzaamheid is een fantasie.
De documentatielast is reëel.
Niemand beweert dat artsen nachtenlang op vakjes moeten klikken. Maar de verandering in hoe we werken, verandert het werk zelf. De arts destilleert hun begrip niet langer in aantekeningen; ze controleren de door de machine gegenereerde structuur.
De verantwoordelijkheid is niet verdwenen. Het bewoog gewoon. En daarmee de vaardigheid die nodig is om die verantwoordelijkheid te dragen.
Expertise maakt deel uit van de veiligheidsarchitectuur
Dr. Richard Rieck bestuurt vliegtuigen en leest hersenscans. Hij kent omgevingen waar veel op het spel staat.
Piloten leven in simulatoren.
Ze stapelen mislukkingen op. Motor stopt. Het weer verandert. Instrumenten liegen.
Het doel is niet realisme omwille van het realisme. Het is spiergeheugen.
“Je traint de mislukkingen zodat als er iets onverwachts gebeurt… je geen reactie hoeft te verzinnen.”
Echt vliegen is in vergelijking eigenlijk saai. De systemen werken.
Dat is het punt.
In de luchtvaart blijven piloten scherp, niet omdat de vliegtuigen onbetrouwbaar zijn. De vliegtuigen zijn uitstekend. Ze blijven scherp omdat hun eigen competentie deel uitmaakt van het vangnet. Expertise is de architectuur.
Radiologie werkt op dezelfde manier.
Dr. Rieck ziet parallellen. Radiologen moeten weten waar ze zouden kunnen uitglijden, en waar de AI zal vallen.
Geen van beide is onfeilbaar.
Veiligheid komt voort uit de overlap, uit de gedeelde blinde vlekken.
Automatisering verandert het werk
“Mens-in-de-lus.”
Wij houden van deze zin.
Het klinkt als een verzekering. Het idee: machineontwerpen, menselijke controles. De mens is een back-up, een vanger van kapotte dingen.
Dat is een leugen.
Of in ieder geval: het is een luie.
De persoon die het briefje beoordeelt, is er niet alleen om problemen op te lossen. Hun oordeel is het systeem.
Naarmate machines beter worden in de gemakkelijke dingen, wordt het menselijk instinct meer waardevol. Niet minder.
Als we mensen als goedkope QA-testers behandelen, verlagen we hun rol. En we verlagen de veiligheidsmarge.
Patiënten kennen het systeem ook
We vergeten wie er nog meer in de kamer is.
Patiënten controleren al tientallen jaren hun zorg. Voordat ambient AI bestond, waren ze medicijnen aan het matchen. Verwijzingsfouten opsporen. Demografische typefouten corrigeren. Het verzoenen van tegenstrijdige adviezen van vijf verschillende specialisten.
Ze krijgen niet alleen zorg.
Ze identificeren fouten in een systeem dat ze nauwelijks kunnen zien.
Hugo Campos, een pleitbezorger naast Liz Salmi, formuleert dit duidelijk. Maak onderscheid tussen institutionele AI en patiëntgerichte AI.
“We moeten het systeem stoppen… en mensen de kans geven zichzelf te helpen.”
AI moet de geletterdheid van patiënten vergroten. Versterk hun expertise.
Wanneer artsen bedolven raken onder inboxen en automatiseringsoutputs, wordt de patiënt een kritische veerkrachtlaag.
Niet omdat de kliniek de verantwoordelijkheid afschuwde. Maar omdat de patiënt dingen ziet, missen de arts, de verpleegkundige en het algoritme.
Een draaiboek voor mensen
We vragen of de machines kapot gaan.
We moeten ons afvragen wat er gebeurt met de mensen die hen vertrouwen.
Jaren van soepel zeilen eroderen de vaardigheden.
Piloten oefenen codes. Sportteams doen oefeningen om blessures op te sporen die hopelijk nooit zullen voorkomen. Het doel? Om te voorkomen dat professionals onder extreme druk helder moeten denken.
Het is verontrustend.
De systemen werken te goed.
“Niemand wil het verval van vaardigheden ontdekken… midden in een noodsituatie.”
Als de AI 99% van de tijd gelijk heeft, herinnert de radioloog zich dan nog hoe die 1% eruit ziet?
Weet de dokter nog hoe hij helemaal opnieuw een aantekening moet maken als het netwerk uitvalt?
Dit gaat niet over angst zaaien.
Het gaat om onderhoud.
We hebben een draaiboek nodig voor vaardigheden die scherp moeten blijven, ongeacht hoe goed de tool wordt. Omdat expertise kwetsbaar is. Je zult het niet missen als je het niet nodig hebt.
Je realiseert je pas dat het weg is als je het hard nodig hebt, en vindt niets anders dan stilte waar je instinct vroeger was.
