Програма слухала.
Амбіентний алгоритм, покликаний допомагати, згенерував замітку про те, що пацієнтові призначили ліки від посттравматичного стресового розладу (ПТСР).
Діагноз ПТСР був відсутній.
Ліки не обговорювалися.
Це була чиста галюцинація, народжена від поєднання тиші та шуму.
На щастя, ця замітка так і залишилася в клініці. Доктор Дженніфер Шеннон, дитячий психіатр і головний медичний директор компанії Glacis, вчасно її помітила. Вона сама прочитала транскрипцію. У ній не було нічого, що могло б підтвердити це твердження.
“Пасивна позиція” людина в контурі”… недостатній.»
Уявіть двадцять пацієнтів на день. Сторінки автоматично згенерованих нотаток для кожного.
Хто буде це все читати?
Не втомлений лікар у вівторок вдень, у якого в поштовій скриньці тридцять повідомлень, а дитина чекає, щоб його відвезли додому. Люди помиляються. Вони зайняті. Вони перевтомлені. Очікувати від них бездоганної уваги-це фантазія.
Тягар документації-реальність.
Ніхто не сперечається з тим, що лікарі не повинні витрачати ночі на проставлення галочок. Але зміна * способу * роботи змінює саму суть роботи. Лікар більше не концентрує своє розуміння в нотатках; він перевіряє структуру, створену машиною.
Відповідальність не зникла. Вона просто перемістилася. І разом з нею-навик, необхідний для виконання цього обов’язку.
Експертиза-частина системи безпеки
Доктор Річард рік літає на літаках і читає знімки мозку. Він знає, що таке середовище з високими ризиками.
Пілоти тренуються в симуляторах.
Вони накладають відмови один на одного. Відмовляє двигун. Складається погода. Прилади брешуть.
Мета не в реалізмі заради реалізму. Мета-виробити м’язову пам’ять.
“Ви відпрацьовуєте сценарії збоїв, щоб, коли станеться щось несподіване… вам не довелося винаходити реакцію на ходу.»
Реальні польоти в порівнянні з цим насправді нудні. Системи працюють.
В цьому і суть.
В авіації пілоти залишаються пильними не тому, що літаки ненадійні. Літаки прекрасні. Вони залишаються пильними, тому що їх власна компетенція — частина страхувальної мережі. Експертиза * є * архітектурою безпеки.
Радіологія працює так само.
Доктор Рік бачить паралелі. Рентгенологи повинні знати, де * вони * можуть спіткнутися, і де помилиться ШІ.
Ні ті, ні інші не непогрішні.
Безпека народжується з перетину зон відповідальності, із загальних сліпих плям.
Автоматизація змінює роботу
“Людина в контурі” (Human-in-the-loop).
Нам подобається ця фраза.
Звучить як страховка. Ідея: машина чернетка, людина перевірка. Людина-резерв, збирач битих деталей.
Це брехня.
Або, принаймні, лінива спрощенщина.
Людина, що перевіряє замітку, потрібен не просто для виправлення збоїв. Його судження * є * системою.
Оскільки машини стають кращими у виконанні простих завдань, людська інтуїція стає більш цінною. А не менше.
Якщо ми ставимося до людей як до дешевих тестувальників якості, ми знецінюємо їх роль. І ми скорочуємо запас міцності безпеки.
Пацієнти також знають систему
Ми забуваємо, хто ще в кімнаті.
Пацієнти десятиліттями перевіряють якість свого лікування. До появи амбієнтного ІІ вони звіряли призначені ліки. Помічали помилки в напрямках. Виправляли помилки в демографічних даних. Порівнювали суперечливі поради п’яти різних фахівців.
Вони не просто отримують лікування.
Вони виявляють збої в системі, яку вони навряд чи бачать цілком.
Уго Кампос, активіст, який працює разом з Ліз Салмі, чітко формулює це. Потрібно розрізняти інституційний ШІ та* орієнтований на пацієнта * ШІ.
“Нам потрібно зупинити систему… і дозволити людям допомагати самим собі.»
ШІ повинен підвищувати медичну грамотність пацієнтів. Зміцнювати їх експертизу.
Коли лікарі тонуть у поштових скриньках та потоці автоматизованих звітів, пацієнт стає критичним шаром стійкості системи.
Не тому, що клініка скинула з себе відповідальність. А тому, що пацієнт бачить те, що упускають лікар, медсестра і алгоритм.
План дій для людей
Ми запитуємо, чи не зламаються машини.
Ми повинні запитати, що станеться з людьми, які їм довіряють.
Роки спокійної роботи руйнують навички.
Пілоти репетирують коди аварій. Спортивні команди відпрацьовують дії при травмах, які, сподіваємось, ніколи не відбудуться. Мета? Уникнути ситуації, коли професіоналам доведеться ясно мислити під екстремальним тиском.
Це тривожно.
Системи працюють занадто добре.
“Ніхто не хоче виявляти втрату навичок… посеред надзвичайної ситуації.»
Якщо ШІ правильний у 99% випадків, чи пам’ятає рентгенолог, як виглядає цей 1% помилок?
Чи пам’ятає лікар, як вести нотатки з нуля, якщо мережа виходить з ладу?
Мова не про сіяння страху.
Мова про підтримку форми.
Нам потрібен план дій для навичок, які повинні залишатися гострими, незалежно від того, наскільки хороший інструмент. Тому що експертиза крихка. Ви не помітите її відсутності, коли вона вам не потрібна.
Ви зрозумієте, що вона пішла, тільки коли відчайдушно знадобляться Ваші знання, а замість вашої інтуїції виявите лише тишу.
