Программа слушала.
Амбиентный алгоритм, призванный помогать, сгенерировал заметку о том, что пациенту назначили лекарства от посттравматического стрессового расстройства (ПТСР).
Диагноз ПТСР отсутствовал.
Лекарства не обсуждались.
Это была чистая галлюцинация, рожденная из сочетания тишины и шума.
К счастью, эта заметка так и осталась в клинике. Доктор Дженнифер Шэннон, детский психиатр и главный медицинский директор компании Glacis, вовремя ее заметила. Она сама прочитала транскрипцию. В ней не было ничего, что могло бы подтвердить это утверждение.
«Пассивная позиция „человек в контуре“… недостаточна.»
Представьте двадцать пациентов в день. Страницы автоматически сгенерированных заметок для каждого.
Кто будет это всё читать?
Не уставший врач во вторник днем, у которого в почтовом ящике тридцать сообщений, а ребенок ждет, чтобы его отвезли домой. Люди ошибаются. Они заняты. Они переутомлены. Ожидать от них безупречного внимания — это фантазия.
Бремя документации — реальность.
Никто не спорит с тем, что врачи не должны тратить ночи на простановку галочек. Но смена способа работы меняет саму суть работы. Врач больше не концентрирует свое понимание в заметках; он проверяет структуру, сгенерированную машиной.
Ответственность не исчезла. Она просто переместилась. И вместе с ней — навык, необходимый для выполнения этой обязанности.
Экспертиза — часть системы безопасности
Доктор Ричард Рик летает на самолетах и читает снимки мозга. Он знает, что такое среда с высокими рисками.
Пилоты тренируются в симуляторах.
Они накладывают отказы друг на друга. Отказывает двигатель. Складывается погода. Приборы врут.
Цель не в реализме ради реализма. Цель — выработать мышечную память.
«Вы отрабатываете сценарии сбоев, чтобы, когда произойдет что-то неожиданное… вам не пришлось изобретать реакцию на ходу.»
Реальные полеты по сравнению с этим на самом деле скучны. Системы работают.
В этом и суть.
В авиации пилоты остаются бдительными не потому, что самолеты ненадежны. Самолеты прекрасны. Они остаются бдительными, потому что их собственная компетенция — часть страховочной сети. Экспертиза является архитектурой безопасности.
Радиология работает так же.
Доктор Рик видит параллели. Радиологи должны знать, где они могут споткнуться, и где ошибется ИИ.
Ни те, ни другие не непогрешимы.
Безопасность рождается из пересечения зон ответственности, из общих слепых пятен.
Автоматизация меняет работу
«Человек в контуре» (Human-in-the-loop).
Нам нравится эта фраза.
Звучит как страховка. Идея: машина черновик, человек проверка. Человек — резерв, сборщик битых деталей.
Это ложь.
Или, по крайней мере, ленивая упрощенщина.
Человек, проверяющий заметку, нужен не просто для исправления сбоев. Его суждение является системой.
По мере того как машины становятся лучше в выполнении простых задач, человеческая интуиция становится более ценной. А не менее.
Если мы относимся к людям как к дешевым тестировщикам качества, мы обесцениваем их роль. И мы сокращаем запас прочности безопасности.
Пациенты тоже знают систему
Мы забываем, кто еще находится в комнате.
Пациенты десятилетиями проверяют качество своего лечения. До появления амбиентного ИИ они сверяли назначенные лекарства. Замечали ошибки в направлениях. Исправляли опечатки в демографических данных. Сравнивали противоречивые советы пяти разных специалистов.
Они не просто получают лечение.
Они выявляют сбои в системе, которую они едва ли видят целиком.
Уго Кампос, активист, работающий вместе с Лиз Салми, четко формулирует это. Нужно различать институциональный ИИ и ориентированный на пациента ИИ.
«Нам нужно остановить систему… и позволить людям помогать самим себе.»
ИИ должен повышать медицинскую грамотность пациентов. Укреплять их экспертизу.
Когда врачи тонут в почтовых ящиках и потоке автоматизированных отчетов, пациент становится критически важным слоем устойчивости системы.
Не потому, что клиника сбросила с себя ответственность. А потому, что пациент видит то, что упускают врач, медсестра и алгоритм.
План действий для людей
Мы спрашиваем, не сломаются ли машины.
Нам следует спрашивать, что случится с людьми, которые им доверяют.
Годы спокойной работы разрушают навыки.
Пилоты репетируют коды аварий. Спортивные команды отрабатывают действия при травмах, которые, надеюсь, никогда не произойдут. Цель? Избежать ситуации, когда профессионалам придется ясно мыслить под экстремальным давлением.
Это тревожно.
Системы работают слишком хорошо.
«Никто не хочет обнаруживать потерю навыков… посреди чрезвычайной ситуации.»
Если ИИ прав в 99% случаев, помнит ли радиолог, как выглядит этот 1% ошибок?
Помнит ли врач, как вести заметки с нуля, если сеть выходит из строя?
Речь не о сеянии страха.
Речь о поддержании формы.
Нам нужен план действий для навыков, которые должны оставаться острыми, независимо от того, насколько хорош инструмент. Потому что экспертиза хрупка. Вы не заметите ее отсутствия, когда она вам не нужна.
Вы поймете, что она ушла, только когда отчаянно понадобятся ваши знания, а вместо вашей интуиции обнаружите лишь тишину.
