Program słuchał.
Algorytm ambientowy, który ma pomóc, wygenerował notatkę, że pacjentowi przepisano leki na zespół stresu pourazowego (PTSD).
Nie było diagnozy PTSD.
Nie dyskutowano o lekach.
To była czysta halucynacja zrodzona z połączenia ciszy i hałasu.
Na szczęście ta notatka pozostała w klinice. Dr Jennifer Shannon, psychiatra dziecięcy i dyrektor medyczny firmy Glacis, zauważyła ją na czas. Sama przeczytała transkrypcję. Nie było w niej nic, co mogłoby potwierdzić to twierdzenie.
“Pozycja bierna” człowiek w obwodzie”… niewystarczający.»
Wyobraź sobie dwudziestu pacjentów dziennie. Strony automatycznie generowanych notatek dla każdego.
Kto to wszystko przeczyta?
Nie zmęczony lekarz we wtorek po południu, który ma trzydzieści wiadomości w skrzynce odbiorczej, a dziecko czeka na zabranie do domu. Ludzie się mylą. Są zajęci. Są przepracowani. Oczekiwanie od nich nienagannej uwagi to fantazja.
Ciężar dokumentacji jest rzeczywistością.
Nikt nie kłóci się z faktem, że lekarze nie powinni spędzać nocy na prostowaniu kleszczy. Ale zmiana* sposobu * pracy zmienia istotę pracy. Lekarz nie koncentruje już swojego zrozumienia w notatkach; sprawdza strukturę generowaną maszynowo.
Odpowiedzialność nie zniknęła. Po prostu się poruszyła. A wraz z nią umiejętność niezbędna do wypełnienia tego obowiązku.
Ekspertyza-część systemu bezpieczeństwa
Dr Richard Rick lata samolotami i czyta skany mózgu. Wie, czym jest środowisko wysokiego ryzyka.
Piloci trenują w symulatorach.
Nakładają na siebie odrzucenia. Silnik ulega awarii. Pogoda się rozwija. Urządzenia kłamią.
Celem nie jest realizm ze względu na realizm. Celem jest wypracowanie pamięci mięśniowej.
“Ćwiczysz scenariusze awarii, aby kiedy wydarzy się coś nieoczekiwanego… nie musiałeś wymyślać reakcji w podróży.»
W porównaniu z tym rzeczywiste loty są w rzeczywistości nudne. Systemy działają.
O to właśnie chodzi.
W lotnictwie piloci pozostają czujni nie dlatego, że samoloty są zawodne. Samoloty są piękne. Pozostają czujni, ponieważ ich własne kompetencje są częścią sieci bezpieczeństwa. Wiedza specjalistyczna * jest * architekturą bezpieczeństwa.
Radiologia działa w ten sam sposób.
Dr Rick widzi podobieństwa. Radiolodzy muszą wiedzieć ,gdzie* mogą * potknąć się i gdzie sztuczna inteligencja się pomyli.
Ani jedno, ani drugie nie jest nieomylne.
Bezpieczeństwo rodzi się ze przekraczania stref odpowiedzialności, ze wspólnych martwych punktów.
Automatyzacja zmienia pracę
“Człowiek w pętli” (Human-in-the-loop).
Podoba nam się to zdanie.
Brzmi jak ubezpieczenie. Pomysł: projekt maszyny, weryfikacja człowieka. Człowiek-rezerwa, zbieracz połamanych części.
To kłamstwo.
A przynajmniej leniwe uproszczenie.
Osoba sprawdzająca notatkę nie jest potrzebna tylko do naprawy usterek. Jego osąd jest * systemem.
W miarę jak maszyny stają się lepsze w wykonywaniu prostych zadań, ludzka intuicja staje się bardziej* cenna. Nie mniej.
Jeśli traktujemy ludzi jak tanich testerów jakości, dewaluujemy ich rolę. I zmniejszamy margines bezpieczeństwa.
Pacjenci też znają system
Zapominamy, kto jeszcze jest w pokoju.
Pacjenci od dziesięcioleci testują jakość swojego leczenia. Przed pojawieniem się Ambient AI sprawdzali przepisane leki. Zauważyliśmy błędy w kierunkach. Poprawiono literówki w danych demograficznych. Porównano sprzeczne Rady pięciu różnych specjalistów.
Nie tylko otrzymują leczenie.
Identyfikują usterki w systemie, którego prawie nie widzą w całości.
Hugo Campos, aktywista współpracujący z Liz Salmi, jasno to ujmuje. Konieczne jest rozróżnienie między instytucjonalną sztuczną inteligencją a* skoncentrowaną na pacjencie * sztuczną inteligencją.
“Musimy zatrzymać system… i pozwolić ludziom pomagać sobie.»
Sztuczna inteligencja powinna zwiększać wiedzę zdrowotną pacjentów. Wzmocnienie ich wiedzy.
Kiedy lekarze topią się w skrzynkach pocztowych i zalewie zautomatyzowanych raportów, pacjent staje się krytyczną warstwą odporności systemu.
Nie dlatego, że klinika zrzuciła z siebie odpowiedzialność. A ponieważ pacjent widzi to, czego brakuje lekarzowi, pielęgniarce i algorytmowi.
Plan działania dla ludzi
Pytamy, czy Samochody się zepsują.
Powinniśmy zapytać, co stanie się z ludźmi, którzy im ufają.
Lata spokojnej pracy niszczą umiejętności.
Piloci ćwiczą kody wypadków. Drużyny sportowe ćwiczą działania w przypadku kontuzji, które, miejmy nadzieję, nigdy się nie zdarzają. Cel? Uniknąć sytuacji, w której profesjonaliści będą musieli jasno myśleć pod ekstremalną presją.
To niepokojące.
Systemy działają zbyt dobrze.
“Nikt nie chce wykryć utraty umiejętności… w środku sytuacji awaryjnej.»
Jeśli AI ma rację w 99% przypadków, czy radiolog pamięta, jak wygląda ten 1% błędów?
Czy lekarz pamięta, jak robić notatki od zera, jeśli sieć ulegnie awarii?
Nie chodzi o sianie strachu.
Chodzi o utrzymanie formy.
Potrzebujemy planu działania dla umiejętności, które muszą pozostać ostre, bez względu na to, jak dobre jest narzędzie. Ponieważ badanie jest kruche. Nie zauważysz jej nieobecności, kiedy jej nie potrzebujesz.
Zrozumiesz, że odeszła tylko wtedy, gdy rozpaczliwie potrzebujesz Twojej wiedzy, a zamiast intuicji znajdziesz tylko ciszę.
