Program poslouchal.
Ambientní algoritmus, který má pomáhat, vygeneroval poznámku, že pacientovi byly předepsány léky na posttraumatickou stresovou poruchu (PTSD).
Diagnóza PTSD chyběla.
O lécích se nemluvilo.
Byla to čistá halucinace, zrozená z kombinace ticha a hluku.
Naštěstí tato poznámka zůstala na klinice. Dr. Jennifer Shannon, dětská psychiatrička a hlavní lékařská ředitelka společnosti Glacis, si toho včas všimla. Přepis si přečetla sama. Nebylo v ní nic, co by toto tvrzení mohlo potvrdit.
“Pasivní pozice” osoba v obrysu”… nedostatečný.»
Představte si dvacet pacientů denně. Stránky automaticky generovaných poznámek pro každého.
Kdo to všechno bude číst?
Ne unavený lékař v úterý odpoledne, který má ve schránce třicet zpráv a dítě čeká na odvoz domů. Lidé se mýlí. Jsou zaneprázdněni. Jsou přepracovaní. Očekávat od nich dokonalou pozornost je fantazie.
Břemeno dokumentace je realita.
Nikdo se nehádá, že by lékaři neměli trávit noci prostanováním klíštěte. Ale změna * způsobu * práce mění samotnou podstatu práce. Lékař již nesoustředí své chápání v poznámkách; kontroluje strukturu generovanou strojem.
Odpovědnost nezmizela. Prostě se přesunula. A s ní i dovednost, která je nezbytná pro splnění této povinnosti.
Odbornost-součást bezpečnostního systému
Dr. Richard Rick létá v letadlech a čte snímky mozku. Ví, co je to vysoce rizikové prostředí.
Piloti trénují v simulátorech.
Navzájem se odmítají. Odmítá motor. Počasí se mění. Přístroje lžou.
Cílem není realismus pro realismus. Cílem je rozvíjet svalovou paměť.
“Pracujete na scénářích selhání, takže když se stane něco neočekávaného… nemusel jste vymýšlet reakce na cestách.»
Skutečné lety oproti tomu jsou vlastně nudné. Systémy fungují.
O to jde.
V letectví zůstávají piloti ostražití ne proto, že letadla jsou nespolehlivá. Letadla jsou krásná. Zůstávají ostražití, protože jejich vlastní kompetence jsou součástí sítě pojišťoven. Hodnocení * je * bezpečnostní architektura.
Radiologie funguje stejně.
Dr. Rick vidí paralely. Radiologové by měli vědět, kde mohou zakopnout a kde se AI mýlí.
Ani ti, ani ostatní nejsou neomylní.
Bezpečnost se rodí z překročení zón odpovědnosti, ze společných slepých míst.
Automatizace mění práci
“Člověk v okruhu” (Human-in-the-loop).
Tahle věta se nám líbí.
Zní to jako pojistka. Idea: stroj, člověk kontrola. Člověk-rezerva, sběrač rozbitých dílů.
Je to lež.
Nebo alespoň líné zjednodušování.
Osoba, která zkontroluje poznámku, není nutná jen k opravě závad. Jeho úsudek je * systém.
Jak se stroje zlepšují při provádění jednoduchých úkolů, lidská intuice se stává *cennější. Ne méně.
Pokud se k lidem chováme jako k levným testerům kvality, znehodnocujeme jejich roli. A snižujeme bezpečnost.
Pacienti také znají systém
Zapomínáme, kdo další je v místnosti.
Pacienti desítky let testují kvalitu své léčby. Než se objevila ambientní AI, kontrolovali předepsané léky. Všimli jsme si chyb ve směru. Opravovali překlepy v demografických údajích. Porovnávali protichůdné rady pěti různých odborníků.
Nejsou jen léčeni.
Odhalují závady v systému, který sotva vidí celý.
Hugo Campos, aktivista spolupracující s Liz Salmi, to jasně formuluje. Je třeba rozlišovat mezi institucionální AI a * orientovanou na pacienta * AI.
“Musíme zastavit systém… a nechat lidi, aby si pomáhali sami.»
AI by měla zvýšit zdravotní gramotnost pacientů. Posílit jejich odbornost.
Když se lékaři topí v poštovních schránkách a záplavě automatizovaných zpráv, stává se pacient kritickou vrstvou stability systému.
Ne proto, že by se klinika zbavila odpovědnosti. A protože pacient vidí to, co mu chybí lékař, sestra a algoritmus.
Akční plán pro lidi
Ptáme se, jestli se auta nerozbijí.
Měli bychom se ptát, co se stane lidem, kteří jim důvěřují.
Roky klidné práce ničí dovednosti.
Piloti nacvičují kódy nehod. Sportovní týmy trénují akce se zraněními, která se snad nikdy nestanou. Cíl? Vyhnout se situaci, kdy profesionálové budou muset jasně myslet pod extrémním tlakem.
Je to znepokojivé.
Systémy fungují příliš dobře.
“Nikdo nechce odhalit ztrátu dovedností… uprostřed nouze.»
Pokud má AI v 99% případů pravdu, pamatuje si radiolog, jak toto 1% chyb vypadá?
Pamatuje si lékař, jak vést poznámky od začátku, pokud síť selže?
Není to o zasévání strachu.
Jde o udržení formy.
Potřebujeme akční plán pro dovednosti, které musí zůstat ostré, bez ohledu na to, jak dobrý je nástroj. Vyšetření je totiž křehké. Nevšimnete si její nepřítomnosti, když ji nepotřebujete.
Pochopíte, že odešla, jen když zoufale potřebujete své znalosti, a místo vaší intuice objevíte jen ticho.
