Un programa estaba escuchando.
Un escriba ambiental, destinado a ayudar, generó una nota diciendo que a un paciente le habían recetado medicamentos para el trastorno de estrés postraumático.
No hubo diagnóstico de trastorno de estrés postraumático.
No se habló de ningún medicamento.
Fue una completa alucinación, nacida tanto del silencio como del ruido.
Afortunadamente, la nota murió en la clínica. La Dra. Jennifer Shannon, psiquiatra infantil y CMO de Glacis, se dio cuenta. Ella misma leyó la transcripción. Nada allí justificaba el reclamo.
“Predeterminar el uso de humano-in-the-loop… no es suficiente.”
Imagínese veinte pacientes al día. Páginas de notas generadas automáticamente para cada uno.
¿Quién lo lee todo?
No el médico cansado un martes por la tarde con treinta mensajes en su bandeja de entrada y un niño esperando que lo lleven. Los humanos fallan. Están ocupados. Están demasiado cansados. Esperar una vigilancia perfecta es una fantasía.
La carga de la documentación es real.
Nadie discute que los médicos deban pasar las noches haciendo clic en casillas. Pero el cambio en cómo trabajamos cambia el trabajo en sí. El médico ya no resume sus conocimientos en notas; están auditando la estructura generada por máquinas.
La responsabilidad no ha desaparecido. Simplemente se movió. Y con ello, la habilidad necesaria para asumir esa responsabilidad.
La experiencia es parte de la arquitectura de seguridad
El Dr. Richard Rieck vuela aviones y lee escáneres cerebrales. Conoce entornos de alto riesgo.
Los pilotos viven en simuladores.
Acumulan fracasos. El motor se apaga. El clima cambia. Los instrumentos mienten.
El objetivo no es el realismo por el realismo. Es memoria muscular.
“Se entrenan los fracasos para que cuando suceda algo inesperado… no tengas que inventar una respuesta.”
En comparación, volar de verdad es realmente aburrido. Los sistemas funcionan.
Ese es el punto.
En la aviación, los pilotos se mantienen alerta no porque los aviones no sean fiables. Los aviones son excelentes. Se mantienen alerta porque su propia competencia es parte de la red de seguridad. La experiencia es la arquitectura.
La radiología funciona de la misma manera.
El Dr. Rieck ve paralelos. Los radiólogos necesitan saber dónde podrían deslizarse y dónde estará la IA.
Ninguno de los dos es infalible.
La seguridad proviene de la superposición, de los puntos ciegos compartidos.
La automatización cambia el trabajo
“Humano en el circuito”.
Nos encanta esta frase.
Suena a seguro. La idea: tiros mecánicos, controles humanos. El humano es un respaldo, un receptor de cosas rotas.
Eso es mentira.
O al menos, es vago.
La persona que revisa la nota no está ahí sólo para solucionar problemas técnicos. Su juicio es el sistema.
A medida que las máquinas mejoran en las cosas fáciles, el instinto humano se vuelve más valioso. No menos.
Si tratamos a los humanos como evaluadores de calidad baratos, degradamos su papel. Y degradamos el margen de seguridad.
Los pacientes también conocen el sistema
Olvidamos quién más está en la habitación.
Los pacientes han estado auditando su atención durante décadas. Antes de que existiera la IA ambiental, combinaban medicamentos. Detectar errores de referencia. Corrección de errores tipográficos demográficos. Conciliar consejos contradictorios de cinco especialistas diferentes.
No sólo reciben atención.
Están identificando fallas en un sistema que apenas pueden ver.
Hugo Campos, defensor junto a Liz Salmi, lo expresa claramente. Distinguir entre IA institucional e IA dirigida al paciente.
“Tenemos que detener el sistema… y permitir que la gente se ayude a sí misma”.
La IA debería impulsar la alfabetización de los pacientes. Fortalecer su experiencia.
Cuando los médicos están enterrados bajo bandejas de entrada y salidas automatizadas, el paciente se convierte en una capa de resiliencia crítica.
No porque la clínica eludiera su responsabilidad. Sino porque el paciente ve cosas que el médico, la enfermera y el algoritmo pasan por alto.
Un manual para humanos
Preguntamos si las máquinas se estropearán.
Deberíamos preguntarnos qué les sucede a los humanos que confían en ellos.
Años de navegación tranquila erosionan la habilidad.
Los pilotos ensayan códigos. Los equipos deportivos realizan simulacros para detectar lesiones que, con suerte, nunca suceden. ¿El objetivo? Evitar pedir a los profesionales que piensen con claridad bajo extrema presión.
Es inquietante.
Los sistemas funcionan demasiado bien.
“Nadie quiere descubrir la pérdida de habilidades… en medio de una emergencia”.
Si la IA acierta el 99% de las veces, ¿recuerda el radiólogo cómo es ese 1%?
¿Recuerda el médico cómo tomar nota desde cero cuando se cae la red?
No se trata de infundir miedo.
Se trata de mantenimiento.
Necesitamos un manual para las habilidades que deben permanecer afiladas, independientemente de lo buena que sea la herramienta. Porque la experiencia es frágil. No lo extrañarás cuando no lo necesites.
Sólo te das cuenta de que ha desaparecido cuando lo necesitas desesperadamente y no encuentras nada más que silencio donde solía estar tu instinto.
