Scott Winters mengira dia terkena flu. Sebaliknya, dia hampir mati karena dia memercayai chatbot yang mengatakan sebaliknya.
Mantan pendeta Florida ini menggugat OpenAI dan Sam Altman di Pengadilan Tinggi San Francisco County. Klaimnya? Nasihat medis ChatGPT berkontribusi pada emboli paru yang hampir membunuhnya.
Inilah yang terjadi pada tahun 2025. Winters mengeluh pusing. Tekanan darahnya tidak stabil. Dia beralih ke ChatGPT-4o.
AI tidak panik. Mereka menganggap gejala-gejala tersebut hanyalah gejala kecil. Ia memerintahkan Winters untuk tetap berada di kursi malas. Bot menghitung bahwa dia memerlukan delapan hingga sepuluh “episode” lagi sebelum kondisinya benar-benar memprihatinkan.
Beberapa minggu kemudian, gumpalan darah bersarang di paru-parunya. Salah satu dokter Winters menghubungkan gumpalan darah tersebut dengan imobilitas berkepanjangan yang secara khusus direkomendasikan oleh chatbot.
Pada hari rasa sakitnya mencapai puncaknya, Winters bertanya apakah nyeri tekan di selangkangan memerlukan kunjungan UGD. Chatbot tidak memanggil ambulans. Itu membangkitkan keyakinannya. Kabarnya, dikatakan: “Tuhan tidak merancang tubuh Anda untuk gagal terus-menerus.”
Winters hampir mati. OpenAI mengatakan alatnya bukanlah perangkat medis dan pengguna tidak boleh mengandalkannya untuk diagnosis. Pengacara Winters tidak setuju. Mereka menginginkan kerugian finansial. Mereka juga ingin menghentikan sementara ChatGPT Health. Mereka menginginkan evaluasi keselamatan independen.
Ini bukan pertama kalinya AI disalahkan atas krisis kesehatan.
Pada bulan Mei, pasangan Texas menggugat Open AI setelah putra mereka overdosis. Argumennya: putra mereka telah mencari informasi narkoba di ChatGPT dan mengabaikan pagar keamanan karena bot memberikan jawaban yang dapat digunakan.
Tuntutan hukum ini menguji pertanyaan yang berat. Seberapa besar tanggung jawab yang ditanggung oleh perusahaan AI ketika pengguna mencari bantuan medis atau psikologis dalam suatu krisis?
Apa yang Sebenarnya Dikatakan Penelitian Tentang Diagnostik AI
Kasus Winters terasa seperti mimpi buruk. Namun penelitian terkontrol menunjukkan bahwa cerita ini lebih bernuansa. Dalam lingkungan yang kaku dan terprogram, AI sangat pandai dalam mendiagnosis.
Sebuah studi JAMA Internal Medicine tahun 2024 membandingkan GPT-4 dengan dokter manusia. Tes tersebut mencakup 20 kasus klinis yang dinilai berdasarkan skala penalaran klinis r-IDEA.
GPT-4 mendapat nilai sempurna 10 dari 10. Rata-rata kehadiran 9. Warga rata-rata 8.
Chatbot sebenarnya lebih jarang sepenuhnya salah dibandingkan penghuni manusia.
Studi lanjutan di JAMA Network Open telah melampaui batas. Para peneliti menguji 50 dokter pada lima kasus yang sangat sulit. ChatGPT, yang beroperasi sendiri, mencapai akurasi 90%. Dokter yang bekerja sendiri mendapat skor 74%. Dokter yang menggunakan ChatGPT sebagai alat memperoleh skor 76%.
Asisten AI tidak banyak membantu. Mengapa? Banyak dokter mengabaikan atau menebak-nebak apa yang disarankan oleh bot tersebut.
Penelitian yang lebih besar memperkuat kesenjangan ini. Nature menerbitkan karya pada tahun 2025 pada model AMIE Google. Ini menguji 302 kasus kompleks di dunia nyata terhadap 20 dokter. AMIE menemukan diagnosis yang benar sebanyak 59%. Dokter yang tidak dibantu mencapai 34%. Dokter yang menggunakan AMIE mengungguli dokter yang menggunakan mesin pencari standar.
Meta-analisis terhadap 50 penelitian di npj Digital Medicine menyimpulkan bahwa AI secara umum memiliki kinerja yang sebanding dengan dokter, dan terkadang lebih baik, pada tugas-tugas standar.
Namun ada peringatan besar. Studi-studi ini menggunakan sketsa tertulis. Perintah terstruktur. Kasing pilihan. Itu bukan kehidupan nyata.
Saat Diagnosis AI Gagalkan Pengguna di Dunia Nyata
Nasihat di dunia nyata terlihat berbeda. Ini melibatkan percakapan tanpa naskah selama berminggu-minggu. Ini melibatkan informasi yang tidak lengkap. Ini tidak melibatkan pemeriksaan fisik.
Penelitian menunjukkan AI kesulitan ketika skripnya menghilang.
Studi NEJM AI menghasilkan tolok ukur 750 pertanyaan. Penelitian ini menggunakan pengujian kesesuaian skrip, yang mengukur bagaimana informasi baru dapat mengubah diagnosis dalam ketidakpastian. Ini mempertandingkan sepuluh model AI terkemuka melawan 1.500 profesional medis.
O3 OpenAI, yang berkinerja terbaik, hanya berhasil mencapai akurasi 68%. Angka tersebut berada di bawah tingkat penduduk lanjut usia. Ini sungguh ironis. Model yang sama ini lolos dalam ujian lisensi medis pilihan ganda.
Nilai tes yang tinggi tidak sebanding dengan penilaian klinis yang masuk akal dalam realitas tubuh yang sakit yang berantakan.
Masalahnya menjadi lebih buruk dengan halusinasi.
Sebuah studi di Communications Medicine memberikan enam chatbot—termasuk GPT-4o dan DeepSeek—sketsa klinis yang dipenuhi kebohongan. Tes laboratorium yang ditemukan. Penyakit yang dibuat-buat.
Dalam kondisi default, model menerima kebohongan ini 50% hingga 83%. Mereka dengan yakin menggambarkan penyakit yang diciptakan sebagai fakta. Perintah sederhana yang memperingatkan AI bahwa masukan mungkin salah akan membantu. Tapi itu tidak menghentikan kesalahannya.
Lalu ada risiko kelalaian.
Sebuah tim yang dipimpin Stanford mencetak 20 model pada 1.100 kasus. Mereka tidak hanya mencari keakuratan diagnostik. Mereka mencari potensi bahaya.
Penerapan langsung dari saran tersebut menimbulkan risiko cedera parah atau kematian pada 24,6% kasus. Lebih dari 80% kesalahan ini merupakan kelalaian. AI gagal menandai sesuatu yang berbahaya. Itu tetap diam.
Pengalaman Winters mencerminkan keheningan ini. Meningkatkan jaminan daripada rujukan mendesak. Chatbot menyuruh Anda duduk diam sementara kaki Anda membeku.
Masalah Penerapan, Bukan Hanya Masalah Model
Survei Sermo pada tahun 2025 terhadap lebih dari 1.000 dokter menegaskan ketakutan tersebut. 94% dokter mengkhawatirkan pasien yang menggunakan AI untuk nasihat medis. Kesalahan diagnosis dan keterlambatan perawatan adalah kekhawatiran utama.
Penelitian ini menciptakan gambaran terpisah.
Dalam tugas yang sempit dan terdefinisi dengan baik? AI cocok atau mengalahkan dokter.
Dalam interaksi manusia yang terbuka dan berisiko tinggi? Itu gagal. Itu berhalusinasi. Ini menghilangkan peringatan kritis.
Bagi sistem kesehatan dan perusahaan teknologi, ini bukan hanya persoalan kompetensi. Ini adalah kegagalan desain. Model yang sama yang berhasil dalam uji kasus dapat dengan percaya diri menceritakan hukuman mati yang dibuat-buat atau membujuk pengguna yang ketakutan untuk menunggu terlalu lama.
Potensi diagnostik AI memang nyata. Dalam beberapa metrik terstruktur, ini melebihi rata-rata dokter.
Namun apakah janji tersebut dapat bertahan jika bersentuhan dengan perilaku manusia, masih belum diketahui. Orang tidak berinteraksi dengan AI seperti peserta tes standar. Mereka mengetik gejala pada jam 3 pagi berupa rasa sakit. Mereka menginginkan kepastian. Mereka rentan.
Pengadilan, rumah sakit, dan peneliti masih harus mencari tahu banyak hal. Gelombang kasus berikutnya akan menentukan apakah kesenjangan tersebut akan semakin tertutup, atau justru semakin melebar hingga menjadi sebuah jurang.
