Sebuah program sedang mendengarkan.
Seorang juru tulis ambien, yang dimaksudkan untuk membantu, membuat catatan yang mengatakan bahwa seorang pasien telah diberi resep obat untuk gangguan stres pasca-trauma.
Tidak ada diagnosis PTSD.
Tidak ada obat yang dibicarakan.
Itu adalah halusinasi total, yang lahir dari keheningan dan kebisingan.
Untungnya, catatan itu mati di klinik. Dr Jennifer Shannon, seorang psikiater anak dan CMO Glacis, menangkapnya. Dia membaca transkripnya sendiri. Tidak ada yang bisa membenarkan klaim tersebut.
“Mengatur default ke human-in-the-loop… tidaklah cukup.”
Bayangkan dua puluh pasien sehari. Halaman catatan yang dibuat secara otomatis untuk masing-masing catatan.
Siapa yang membaca semuanya?
Bukan dokter yang lelah pada Selasa sore dengan tiga puluh pesan di kotak masuknya dan seorang anak yang menunggu tumpangan. Manusia gagal. Mereka sibuk. Mereka terlalu lelah. Mengharapkan kewaspadaan yang sempurna adalah sebuah fantasi.
Beban dokumentasi memang nyata.
Tidak ada yang berpendapat bahwa dokter harus menghabiskan waktu semalaman untuk mengklik kotak. Namun perubahan cara kita bekerja mengubah pekerjaan itu sendiri. Dokter tidak lagi menyaring pemahaman mereka ke dalam catatan; mereka mengaudit struktur yang dihasilkan mesin.
Tanggung jawabnya belum hilang. Itu baru saja pindah. Dan dengan itu, diperlukan keterampilan untuk memikul tanggung jawab itu.
Keahlian Adalah Bagian Dari Arsitektur Keselamatan
Dr Richard Rieck menerbangkan pesawat dan membaca scan otak. Dia tahu lingkungan yang berisiko tinggi.
Pilot tinggal di simulator.
Mereka menumpuk kegagalan. Mesin mati. Cuaca berubah. Instrumen berbohong.
Tujuannya bukanlah realisme demi realisme. Itu memori otot.
“Anda melatih kegagalan sehingga ketika sesuatu yang tidak terduga terjadi… Anda tidak perlu menciptakan respons.”
Terbang sungguhan sebenarnya membosankan jika dibandingkan. Sistemnya bekerja.
Itulah intinya.
Dalam dunia penerbangan, pilot tetap tajam bukan karena pesawatnya tidak bisa diandalkan. Pesawatnya luar biasa. Mereka tetap tajam karena kompetensinya sendiri adalah bagian dari jaring pengaman. Keahlian adalah arsitektur.
Radiologi bekerja dengan cara yang sama.
Dr Rieck melihat persamaannya. Ahli radiologi perlu mengetahui di mana mereka mungkin tergelincir, dan di mana AI akan tergelincir.
Tidak ada satupun yang sempurna.
Keamanan datang dari tumpang tindih, dari titik buta bersama.
Otomatisasi Mengubah Pekerjaan
“Manusia dalam lingkaran.”
Kami menyukai ungkapan ini.
Kedengarannya seperti asuransi. Idenya: rancangan mesin, pemeriksaan manusia. Manusia adalah cadangan, penangkap barang rusak.
Itu bohong.
Atau setidaknya, itu adalah hal yang malas.
Orang yang meninjau catatan tersebut tidak hanya ada di sana untuk memperbaiki gangguan. Penilaian mereka adalah sistemnya.
Saat mesin menjadi lebih baik dalam hal-hal mudah, naluri manusia menjadi lebih berharga. Tidak kurang.
Jika kita memperlakukan manusia seperti penguji QA yang murahan, kita menurunkan peran mereka. Dan kami menurunkan margin keamanan.
Pasien Juga Tahu Sistemnya
Kita lupa siapa lagi yang ada di ruangan itu.
Pasien telah mengaudit perawatan mereka selama beberapa dekade. Sebelum AI ambien ada, mereka mencocokkan obat-obatan. Menemukan kesalahan rujukan. Memperbaiki kesalahan ketik demografis. Merekonsiliasi saran yang saling bertentangan dari lima spesialis berbeda.
Mereka tidak hanya menerima perawatan.
Mereka mengidentifikasi kegagalan dalam sistem yang hampir tidak dapat mereka lihat.
Hugo Campos, seorang advokat bersama Liz Salmi, menggambarkan hal ini dengan jelas. Bedakan antara AI institusional dan AI yang diarahkan pada pasien.
“Kita harus menghentikan sistem ini… dan membiarkan orang-orang membantu diri mereka sendiri.”
AI harus meningkatkan literasi pasien. Perkuat keahlian mereka.
Ketika dokter terkubur di bawah kotak masuk dan keluaran otomatisasi, pasien menjadi lapisan ketahanan yang sangat penting.
Bukan karena klinik melalaikan tanggung jawab. Namun karena pasien melihat hal-hal yang terlewatkan oleh dokter, perawat, dan algoritma.
Buku Pedoman Bagi Manusia
Kami bertanya apakah mesin akan rusak.
Kita harus bertanya apa yang terjadi pada manusia yang mempercayai mereka.
Berlayar mulus selama bertahun-tahun mengikis keterampilan.
Pilot berlatih kode. Tim olahraga melakukan latihan untuk mengatasi cedera yang semoga tidak pernah terjadi. Tujuannya? Untuk menghindari meminta para profesional untuk berpikir jernih di bawah tekanan yang ekstrim.
Ini meresahkan.
Sistemnya bekerja dengan sangat baik.
“Tidak seorang pun ingin mengetahui penurunan keterampilan… di tengah keadaan darurat.”
Jika AI 99% benar, apakah ahli radiologi ingat seperti apa 1% tersebut?
Apakah dokter ingat cara membuat catatan dari awal ketika jaringan mati?
Ini bukan tentang menyebarkan rasa takut.
Ini tentang pemeliharaan.
Kita memerlukan pedoman keterampilan yang harus tetap tajam, terlepas dari seberapa bagus alat tersebut. Karena keahlian itu rapuh. Anda tidak akan melewatkannya saat Anda tidak membutuhkannya.
Anda hanya menyadari bahwa hal itu hilang ketika Anda sangat membutuhkannya, dan tidak menemukan apa pun selain keheningan di tempat naluri Anda dulu berada.
