Un programme écoutait.
Un scribe ambiant, destiné à aider, a généré une note indiquant qu’un patient s’était vu prescrire des médicaments pour le trouble de stress post-traumatique.
Il n’y a pas eu de diagnostic de SSPT.
Aucun médicament n’a été discuté.
C’était une hallucination totale, née du silence et du bruit.
Heureusement, la note est morte à la clinique. Le Dr Jennifer Shannon, pédopsychiatre et directrice marketing de Glacis, l’a attrapé. Elle a lu elle-même la transcription. Rien là-bas ne justifiait cette affirmation.
“Par défaut, l’humain dans la boucle… n’est pas suffisant.”
Imaginez vingt patients par jour. Pages de notes générées automatiquement pour chacun.
Qui lit tout cela ?
Pas le clinicien fatigué un mardi après-midi avec trente messages dans sa boîte de réception et un enfant attendant qu’on l’emmène. Les humains échouent. Ils sont occupés. Ils sont fatigués. Attendre une vigilance parfaite est un fantasme.
Le fardeau de la documentation est réel.
Personne ne prétend que les cliniciens devraient passer des nuits à cliquer sur des cases. Mais le changement dans notre façon de travailler change le travail lui-même. Le clinicien ne distille plus sa compréhension sous forme de notes ; ils auditent la structure générée par la machine.
La responsabilité n’a pas disparu. Il vient de bouger. Et avec cela, la compétence requise pour assumer cette responsabilité.
L’expertise fait partie de l’architecture de sécurité
Le Dr Richard Rieck pilote des avions et lit des scanners cérébraux. Il connaît les environnements à enjeux élevés.
Les pilotes vivent dans des simulateurs.
Ils empilent les échecs. Le moteur s’arrête. Le temps change. Les instruments mentent.
Le but n’est pas le réalisme pour le réalisme. C’est la mémoire musculaire.
“Vous entraînez les échecs pour que, lorsque quelque chose d’inattendu se produit… vous n’ayez pas à inventer de réponse.”
En comparaison, le vrai vol est ennuyeux. Les systèmes fonctionnent.
C’est le point.
Dans l’aviation, les pilotes restent vigilants, ce n’est pas parce que les avions ne sont pas fiables. Les avions sont excellents. Ils restent attentifs parce que leur propre compétence fait partie du filet de sécurité. L’expertise est l’architecture.
La radiologie fonctionne de la même manière.
Le Dr Rieck voit des parallèles. Les radiologues doivent savoir où ils pourraient glisser et où l’IA pourrait glisser.
Ni l’un ni l’autre n’est infaillible.
La sécurité vient du chevauchement, des angles morts partagés.
L’automatisation change le travail
“L’HUMAIN dans la boucle.”
Nous aimons cette phrase.
Cela ressemble à une assurance. L’idée : des esquisses mécaniques, des contrôles humains. L’humain est un remplaçant, un récupérateur de choses cassées.
C’est un mensonge.
Ou du moins, c’est paresseux.
La personne qui révise la note n’est pas seulement là pour corriger les problèmes. Leur jugement est le système.
À mesure que les machines s’améliorent dans les tâches faciles, l’instinct humain devient plus précieux. Pas moins.
Si nous traitons les humains comme des testeurs d’assurance qualité bon marché, nous dégradons leur rôle. Et on dégrade la marge de sécurité.
Les patients connaissent aussi le système
Nous oublions qui d’autre est dans la pièce.
Les patients vérifient leurs soins depuis des décennies. Avant que l’IA ambiante n’existe, ils faisaient correspondre les médicaments. Repérer les erreurs de référencement. Correction de fautes de frappe démographiques. Concilier les conseils contradictoires de cinq spécialistes différents.
Ils ne reçoivent pas seulement des soins.
Ils identifient les défaillances d’un système qu’ils peuvent à peine voir.
Hugo Campos, défenseur aux côtés de Liz Salmi, le formule clairement. Faites la distinction entre l’IA institutionnelle et l’IA dirigée par le patient.
“Nous devons arrêter le système… et permettre aux gens de s’aider eux-mêmes.”
L’IA devrait stimuler l’alphabétisation des patients. Renforcer leur expertise.
Lorsque les cliniciens sont ensevelis sous les boîtes de réception et les résultats d’automatisation, le patient devient une couche de résilience essentielle.
Non pas parce que la clinique s’est soustraite à ses responsabilités. Mais parce que le patient voit des choses, le médecin, l’infirmière et l’algorithme oublient.
Un manuel de jeu pour les humains
Nous demandons si les machines vont tomber en panne.
Nous devrions nous demander ce qui arrive aux humains qui leur font confiance.
Des années de navigation en douceur érodent les compétences.
Les pilotes répètent les codes. Les équipes sportives organisent des exercices pour les blessures qui, espérons-le, ne se produiront jamais. Le but ? Pour éviter de demander aux professionnels de penser clairement sous une pression extrême.
C’est déstabilisant.
Les systèmes fonctionnent trop bien.
“Personne ne veut découvrir une dégradation des compétences… en pleine situation d’urgence.”
Si l’IA a raison dans 99 % des cas, le radiologue se souvient-il à quoi ressemble ce 1 % ?
Le médecin se souvient-il de la façon de prendre une note à partir de zéro lorsque le réseau tombe en panne ?
Il ne s’agit pas ici de semer la peur.
C’est une question d’entretien.
Nous avons besoin d’un manuel pour les compétences qui doivent rester pointues, quelle que soit la qualité de l’outil. Parce que le savoir-faire est fragile. Vous ne le manquerez pas lorsque vous n’en aurez pas besoin.
Vous ne réalisez qu’il a disparu que lorsque vous en avez désespérément besoin et ne trouvez rien d’autre que le silence là où se trouvait votre instinct.
