Surat yang dikirimkan doktermu padamu? Mungkin itu diciptakan oleh kecerdasan buatan

Setiap hari, pasien mengirimkan ratusan ribu pesan ke dokter mereka melalui MyChart, sebuah platform komunikasi yang dapat ditemukan di hampir setiap rumah sakit di AS.

Mereka menggambarkan rasa sakitnya, mengungkapkan gejalanya – tekstur ruam, warna tinja – dan mempercayai dokter. Untuk menasihati mereka.

Namun kini bukan lagi dokter yang menulis tanggapan terhadap surat-surat ini – setidaknya tidak seluruhnya. Sekitar 15.000 dokter dan asisten di lebih dari 150 sistem kesehatan menggunakan fitur kecerdasan buatan baru di MyChart untuk merumuskan tanggapan terhadap pesan-pesan tersebut.

Banyak pasien yang menerima tanggapan ini tidak menyadari bahwa tanggapan tersebut ditulis dengan bantuan kecerdasan buatan. Dalam wawancara, pejabat di beberapa sistem kesehatan yang menggunakan MyChart mengakui bahwa mereka tidak mengungkapkan bahwa pesan berisi konten yang dibuat oleh AI.

Tren ini mengkhawatirkan beberapa ahli yang khawatir bahwa dokter mungkin tidak cukup waspada untuk menangkap kesalahan yang berpotensi berbahaya dalam pesan-pesan penting secara medis yang disusun oleh kecerdasan buatan.

Dalam industri yang telah banyak menggunakan kecerdasan buatan untuk menangani tugas-tugas administratif seperti merangkum catatan janji temu atau mengajukan banding atas penolakan asuransi, para kritikus khawatir bahwa penerapan alat MyChart secara luas telah memungkinkan kecerdasan buatan mengganggu pengambilan keputusan klinis dan hubungan dokter-pasien.

Alat tersebut memang dapat diinstruksikan untuk menulis dengan suara dokter tertentu, namun tidak selalu merumuskan jawaban yang benar.

“Tujuannya adalah untuk memberikan waktu bagi mereka sehingga mereka dapat menghabiskan lebih banyak waktu untuk berbicara dengan pasien,” kata Athmiya Jayaram, peneliti di Hastings Center, sebuah lembaga penelitian bioetika di Garrison, New York.

“Dalam hal ini, mereka mencoba menghemat waktu berbicara dengan pasien menggunakan AI generatif.”

Selama puncak pandemi, ketika janji temu langsung sering kali hanya diperuntukkan bagi pasien yang paling sakit, banyak yang beralih ke pesan MyChart sebagai saluran komunikasi langsung yang jarang dengan dokter mereka.

Penyedia layanan kesehatan tidak menyadari bahwa mereka mempunyai masalah hingga bertahun-tahun kemudian: Bahkan setelah sebagian besar aspek layanan kesehatan kembali normal, mereka masih dibanjiri pesan dari pasien.

Dokter yang sudah terlalu terbebani tiba-tiba menghabiskan waktu istirahat makan siang dan malamnya untuk menjawab surat pasien. Pimpinan rumah sakit khawatir jika mereka tidak menemukan cara untuk mengurangi pekerjaan ekstra ini – yang seringkali tidak dapat ditagihkan – surat pasien dapat menjadi penyebab utama kelelahan dokter.

Jadi pada awal tahun 2023, ketika Epic, raksasa perangkat lunak yang mengembangkan aplikasi MyChart, mulai menawarkan alat baru yang menggunakan kecerdasan buatan untuk menghasilkan respons, beberapa pusat kesehatan akademis terbesar di negara itu sangat ingin mengadopsinya.

Daripada memulai setiap pesan dengan layar kosong, dokter melihat respons yang dihasilkan secara otomatis atas pertanyaan pasien. Respons dihasilkan menggunakan versi GPT-4 (teknologi dasar ChatGPT) yang mematuhi undang-undang privasi medis.

Alat MyChart, yang disebut In Basket Art, menggunakan konteks dari pesan pasien sebelumnya dan informasi dari rekam medis elektronik mereka, seperti daftar obat, untuk membuat rancangan yang dapat disetujui atau diubah oleh penyedia layanan kesehatan.

Dengan memungkinkan dokter bertindak seperti editor, sistem layanan kesehatan berharap mereka dapat menyampaikan pesan pasien lebih cepat dan menghabiskan lebih sedikit energi mental untuk melakukannya.

Hal ini sebagian dikonfirmasi dalam penelitian awal, yang menemukan bahwa seni berkurang Perasaan lelah Dan Beban kognitifnamun hal ini tidak serta merta menghemat waktu.

Ratusan dokter di UC San Diego Health, lebih dari seratus penyedia layanan di UW Health di Wisconsin, dan setiap dokter berlisensi di praktik perawatan primer Stanford Health Care – termasuk dokter, perawat, dan apoteker – dapat mengakses alat AI.

Lusinan dokter di Northwestern Health, NYU Langone Health, dan UNC Health sedang bereksperimen dengan seni ini ketika para pemimpin mempertimbangkan perluasan yang lebih luas.

Dengan tidak adanya peraturan federal yang kuat atau kerangka etika yang diterima secara luas, setiap sistem kesehatan memutuskan bagaimana menguji keamanan suatu alat dan apakah akan memberi tahu pasien tentang penggunaannya.

Beberapa sistem rumah sakit, seperti UC San Diego Health, menempatkan pemberitahuan di bagian bawah setiap pesan yang menjelaskan bahwa pesan tersebut “dibuat secara otomatis” dan telah ditinjau serta diedit oleh dokter.

“Saya pribadi tidak melihat adanya kerugian terhadap transparansi,” kata Dr. Christopher Longhurst, kepala urusan klinis dan inovasi sistem kesehatan.

Pasien umumnya menerima teknologi baru, katanya. (Seorang dokter menerima email yang mengatakan: “Saya Saya ingin menjadi orang pertama yang mengucapkan selamat kepada Anda atas AI Driving Assistant Anda dan menjadi orang pertama yang mengirimi Anda pesan pasien yang dihasilkan AI.

Sistem lain – termasuk Stanford Health System, University of Wisconsin Health System, University of North Carolina Health System, dan NYU Langone Health System – memutuskan bahwa memberi tahu pasien akan lebih merugikan daripada menguntungkan.

Beberapa pejabat khawatir bahwa dokter mungkin melihat penafian sebagai alasan untuk mengirim pesan kepada pasien tanpa memverifikasinya dengan benar, kata Dr. Brian Patterson, direktur pelaksana dokter untuk AI klinis di UW Health.

Memberi tahu pasien bahwa pesan berisi konten AI dapat mengurangi nilai nasihat medis, meskipun hal tersebut didukung oleh dokter mereka, kata Dr. Paul Testa, kepala petugas informasi medis di NYU Langone Health.

Bagi Dr. Jayaram, mengungkap penggunaan alat ini bermuara pada pertanyaan sederhana: Apa yang diharapkan pasien?

Ketika pasien mengirimkan pesan tentang kesehatan mereka, katanya, mereka berasumsi bahwa dokter akan mempertimbangkan riwayat penyakit, preferensi pengobatan, dan dinamika keluarga – hal-hal tidak berwujud yang diperoleh dari hubungan jangka panjang.

“Ketika Anda membaca catatan dokter, Anda membacanya dengan suara dokter Anda,” katanya. “Jika seorang pasien mengetahui bahwa pesan yang mereka sampaikan kepada dokter mereka dihasilkan oleh kecerdasan buatan, saya pikir mereka akan merasa benar-benar dikhianati. “

Bagi banyak sistem layanan kesehatan, membuat algoritme yang secara meyakinkan meniru “suara” dokter tertentu membantu menjadikan alat ini berguna. Faktanya, Epic baru-baru ini mulai memberikan alatnya akses yang lebih besar ke pesan-pesan masa lalu, sehingga drafnya dapat meniru gaya penulisan masing-masing dokter.

Brent Lamm, kepala informasi di UNC Health, mengatakan hal ini menjawab keluhan umum yang dia dengar dari dokter: “Saya tidak bisa mengungkapkan pendapat pribadi saya” atau “Saya sudah mengenal pasien ini selama tujuh tahun. Mereka akan tahu bahwa itu bukan saya. “

Administrator layanan kesehatan sering menyebut seni ini sebagai penggunaan AI yang berisiko rendah, karena idealnya penyedia layanan kesehatan selalu membaca draf dan memperbaiki kesalahan.

Deskripsi ini menyulitkan para peneliti yang mempelajari cara kerja manusia dalam kaitannya dengan kecerdasan buatan. Deskripsi ini “bertentangan dengan penelitian selama 50 tahun,” kata Ken Holstein, seorang profesor di Institut Interaksi Manusia-Komputer di Universitas Carnegie Mellon.

Manusia memiliki kecenderungan yang terdokumentasi dengan baik, yang disebut bias otomasi, untuk menerima rekomendasi suatu algoritma meskipun rekomendasi tersebut bertentangan dengan pengalaman mereka sendiri, katanya. Bias ini dapat menyebabkan dokter menjadi kurang kritis saat meninjau rancangan yang dibuat oleh AI, sehingga dapat menyebabkan kesalahan serius dalam menjangkau pasien.

Seni tidak kebal terhadap kesalahan. Studi terbaru Para peneliti menemukan bahwa tujuh dari 116 rancangan yang dibuat oleh AI berisi apa yang disebut halusinasi – penghinaan yang biasanya diciptakan oleh teknologi tersebut.

Vinay Reddy, dokter pengobatan keluarga di UNC Health, mengenang sebuah kasus di mana seorang pasien mengirim pesan kepada rekannya untuk menanyakan apakah dia memerlukan vaksin hepatitis B.

Draf yang dibuat oleh AI dengan yakin mengkonfirmasi kepada pasien bahwa dia telah menerima vaksinasi dan menjadwalkan janji temu. Dia mengatakan ini sepenuhnya salah dan terjadi karena model tersebut tidak memiliki akses ke catatan vaksinasinya.

kecil Sebuah penelitian yang dipublikasikan di The Lancet Digital Health Para peneliti menemukan bahwa GPT-4, model AI yang sama yang mendasari alat Epic, membuat kesalahan yang lebih serius saat menjawab pertanyaan hipotetis pasien.

Dokter yang meninjau jawaban mereka menemukan bahwa draft, jika tidak diedit, dapat menimbulkan risiko serius sebesar 7%.

Namun hal yang meyakinkan bagi Dr. Eric Bohn, kepala petugas informasi kesehatan di Duke Health, adalah bahwa model tersebut menghasilkan rancangan yang masih memiliki “kualitas sedang”, yang menurutnya membuat dokter skeptis dan waspada dalam menemukan kesalahan.

Rata-rata, kurang dari sepertiga rancangan yang dihasilkan AI dikirim ke pasien tanpa diedit, menurut Epic, sebuah indikator bagi administrator rumah sakit bahwa dokter tidak memberikan stempel pada pesan.

“Satu pertanyaan di benak saya adalah: Bagaimana jika teknologi membaik? Bagaimana jika dokter mulai melonggarkan kewaspadaannya? Apakah kesalahan akan hilang?”

Epic membangun hambatan keamanan dalam programnya untuk mencegah Art memberikan nasihat klinis, kata Garrett Adams, wakil presiden penelitian dan pengembangan perusahaan.

Adams mengatakan alat ini paling cocok untuk menjawab pertanyaan administratif umum seperti “Kapan janji temu saya?” atau “Dapatkah saya menjadwal ulang janji pemeriksaan saya?”

Namun para peneliti belum mampu mengembangkan cara yang dapat diandalkan untuk memaksa model mengikuti instruksi, kata Dr. Holstein.

Anand Chaudhary, yang membantu mengawasi peluncuran ART di Duke Health, mengatakan bahwa dia dan rekan-rekannya berulang kali mengubah petunjuk untuk mencegah alat tersebut memberikan saran klinis, namun hanya sedikit yang berhasil.

“Sekeras apa pun kami berusaha, kami tidak bisa menghilangkan nalurinya untuk mencoba membantu,” ujarnya.

Tiga sistem kesehatan mengatakan kepada New York Times bahwa mereka telah menghapus beberapa batasan dari pedoman tersebut.

Longhurst dari UC San Diego Health Center mengatakan model tersebut “berkinerja lebih baik” ketika bahasa yang mengarahkan Art untuk tidak “merespons dengan informasi klinis” dihilangkan. Para pejabat merasa nyaman memberikan lebih banyak kebebasan kepada AI karena pesan-pesannya ditinjau oleh dokter.

Christopher Sharp, kepala petugas informasi medis di sistem layanan kesehatan, mengatakan Stanford Health Care mengambil “risiko yang disengaja” untuk memungkinkan ART “berpikir lebih seperti seorang dokter,” setelah beberapa pembatasan ketat tampaknya membuat rancangannya menjadi generik dan tidak membantu.

Selain pertanyaan mengenai keamanan dan transparansi, beberapa ahli bioetika mempunyai kekhawatiran yang lebih mendasar: Apakah ini cara kita ingin menggunakan AI dalam pengobatan?

Berbeda dengan banyak alat kesehatan lain yang mengandalkan AI, seni tidak dirancang untuk meningkatkan hasil klinis (walaupun sebuah penelitian menunjukkan bahwa respons yang diberikan mungkin lebih efektif). Empati dan positif), dan tidak hanya ditujukan untuk tugas-tugas administratif.

Sebaliknya, AI tampaknya mengganggu momen langka ketika pasien dan dokter dapat berkomunikasi satu sama lain secara langsung – momen yang seharusnya dimungkinkan oleh teknologi, kata Daniel Schiff, salah satu direktur Lab AI Tata Kelola dan Tanggung Jawab di Universitas Purdue.

“Meskipun tanpa cela, apakah Anda ingin mengotomatiskan salah satu dari sedikit cara kita tetap berinteraksi satu sama lain?“