C’era un programma in ascolto.
Uno scriba ambientale, destinato ad aiutare, ha generato una nota in cui si diceva che a un paziente erano stati prescritti farmaci per il disturbo da stress post-traumatico.
Non c’era alcuna diagnosi di disturbo da stress post-traumatico.
Non è stato discusso alcun farmaco.
Era un’allucinazione completa, nata sia dal silenzio che dal rumore.
Fortunatamente, il biglietto è morto in clinica. La dottoressa Jennifer Shannon, psichiatra infantile e CMO di Glacis, se ne accorse. Ha letto lei stessa la trascrizione. Niente lì giustificava l’affermazione.
“Il mancato rispetto dell’approccio human-in-the-loop… non è sufficiente.”
Immagina venti pazienti al giorno. Pagine di note generate automaticamente per ciascuna.
Chi lo legge tutto?
Non il medico stanco di un martedì pomeriggio con trenta messaggi nella casella di posta e un bambino che aspetta un passaggio. Gli esseri umani falliscono. Sono occupati. Sono stanchissimi. Aspettarsi una vigilanza perfetta è una fantasia.
L’onere della documentazione è reale.
Nessuno sostiene che i medici dovrebbero passare le notti a cliccare sulle caselle. Ma il cambiamento nel come lavoriamo cambia il lavoro stesso. Il clinico non distilla più la propria comprensione in appunti; stanno controllando la struttura generata dalla macchina.
La responsabilità non è scomparsa. Si è semplicemente spostato. E con essa l’abilità necessaria per ricoprire tale responsabilità.
La competenza fa parte dell’architettura di sicurezza
Il dottor Richard Rieck pilota aeroplani e legge scansioni cerebrali. Conosce gli ambienti ad alto rischio.
I piloti vivono nei simulatori.
Accumulano fallimenti. Il motore si spegne. Il tempo cambia. Gli strumenti mentono.
L’obiettivo non è il realismo fine a se stesso. È la memoria muscolare.
“Addestri i fallimenti in modo che quando succede qualcosa di inaspettato… non devi inventare una risposta.”
Il vero volo è in realtà noioso al confronto. I sistemi funzionano.
Questo è il punto.
Nell’aviazione, i piloti restano vigili non perché gli aerei siano inaffidabili. Gli aerei sono eccellenti. Rimangono vigili perché la loro competenza fa parte della rete di sicurezza. La competenza è l’architettura.
La radiologia funziona allo stesso modo.
Il dottor Rieck vede dei parallelismi. I radiologi devono sapere dove potrebbero scivolare e dove lo farà l’intelligenza artificiale.
Nessuno dei due è infallibile.
La sicurezza viene dalla sovrapposizione, dai punti ciechi condivisi.
L’automazione cambia il lavoro
“Umano nel circuito.”
Adoriamo questa frase.
Sembra un’assicurazione. L’idea: bozze meccaniche, assegni umani. L’essere umano è un sostegno, un raccoglitore di cose rotte.
Questa è una bugia.
O almeno, è pigro.
La persona che esamina la nota non è lì solo per correggere i problemi. Il loro giudizio è il sistema.
Man mano che le macchine migliorano nelle cose facili, l’istinto umano diventa più prezioso. Non di meno.
Se trattiamo gli esseri umani come tester di QA a buon mercato, sminuiamo il loro ruolo. E riduciamo il margine di sicurezza.
Anche i pazienti conoscono il sistema
Dimentichiamo chi altro c’è nella stanza.
I pazienti controllano le loro cure da decenni. Prima che esistesse l’intelligenza artificiale ambientale, stavano abbinando i farmaci. Individuazione degli errori di riferimento. Correzione degli errori di battitura demografici. Conciliare i consigli contrastanti di cinque diversi specialisti.
Non stanno solo ricevendo cure.
Stanno identificando i fallimenti in un sistema che riescono a malapena a vedere.
Hugo Campos, sostenitore insieme a Liz Salmi, lo inquadra chiaramente. Distinguere tra IA istituzionale e IA diretta dal paziente.
“Dobbiamo fermare il sistema… e permettere alle persone di aiutarsi da sole.”
L’intelligenza artificiale dovrebbe promuovere l’alfabetizzazione dei pazienti. Rafforzare la loro competenza.
Quando i medici sono sepolti sotto caselle di posta e output di automazione, il paziente diventa uno strato critico di resilienza.
Non perché la clinica si sia sottratta alle responsabilità. Ma poiché il paziente vede cose che il medico, l’infermiera e l’algoritmo sfuggono.
Un manuale per gli esseri umani
Chiediamo se le macchine si romperanno.
Dovremmo chiederci cosa succede agli umani che si fidano di loro.
Anni di navigazione tranquilla erodono l’abilità.
I piloti provano i codici. Le squadre sportive eseguono esercitazioni per infortuni che si spera non si verifichino mai. L’obiettivo? Per evitare di chiedere ai professionisti di pensare con lucidità sotto estrema pressione.
È inquietante.
I sistemi funzionano troppo bene.
“Nessuno vuole scoprire il decadimento delle competenze… nel mezzo di un’emergenza.”
Se l’intelligenza artificiale ha ragione il 99% delle volte, il radiologo ricorda come appare quell’1%?
Il medico si ricorda come prendere nota da zero quando la rete non funziona?
Non si tratta di allarmismo.
Riguarda la manutenzione.
Abbiamo bisogno di un manuale per le competenze che devono rimanere affilate, indipendentemente da quanto buono diventi lo strumento. Perché la competenza è fragile. Non ti mancherà quando non ne avrai bisogno.
Ti rendi conto che se n’è andato solo quando ne hai un disperato bisogno e non trovi altro che silenzio dove prima c’era il tuo istinto.
