Скотт Вінтерс вважав, що у нього грип. Натомість він ледве не помер, довірившись чат-боту, який сказав йому протилежне.
Колишній пастор зі штату Флорида подав до суду на OpenAI та Сема Альтмана в окружному суді округу Сан-Франциско. Його претензія полягає в тому, що медична рада, дана ChatGPT, сприяла тромбоемболії легеневої артерії, яка ледь не вбила його.
Ось що сталося 2025 року. Вінтерс поскаржився на запаморочення. У нього спостерігався нестабільний артеріальний тиск. Він звернувся до ChatGPT-4o.
ІІ не впав у паніку. Він знецінив симптоми як незначні. Бот порадив Уінтерсу залишатися в лежачому положенні в кріслі-гойдалці. ІІ розрахував, що йому потрібно пережити ще вісім-десять «епізодів», перш ніж його стан стане приводом для реальної тривоги.
Через тиждень тромб застряг у його легенях. Один із лікарів Уінтерса пов’язав тромб із тривалою нерухомістю, яку безпосередньо рекомендував чат-бот.
У день, коли біль досяг піка, Уінтерс запитав, чи вимагає болючість у паху виклику швидкої допомоги. Чат-бот не викликав швидку. Він послався на його віру. Повідомляється, що бот сказав: Бог не проектував твоє тіло для нескінченної відмови.
Уінтерс мало не помер. OpenAI стверджує, що його інструменти не є медичними пристроями, і користувачі не повинні покладатися на них для діагностики. Адвокати Вінтера не згодні. Вони потребують фінансових компенсацій. Вони також хочуть припинити роботу ChatGPT Health. Вони потребують незалежної оцінки безпеки.
Це не перший випадок, коли ІІ звинувачують у медичній кризі.
У травні пара з Техасу подала до суду на OpenAI після передозування їхнього сина. Аргумент позивачів: їхній син шукав інформацію про наркотики в ChatGPT та ігнорував заходи безпеки, тому що бот надавав зрозумілі відповіді.
Ці судові позови порушують складне питання. Яка відповідальність лежить на компаніях-розробниках ІІ, коли користувачі шукають медичну чи психологічну допомогу у кризовій ситуації?
Що насправді говорить дослідження про ІІ-діагностику
Справа Вінтера здається кошмаром. Але контрольовані дослідження показують, що картина більш нюансована. У жорстких, сценаризованих умовах ІІ напрочуд гарний у діагностиці.
Дослідження 2024 року в журналі Jama Internal Medicine порівняло GPT-4 з лікарями. Тест включав 20 клінічних випадків, оцінених за клінічною шкалою причинності r-IDEA.
GPT-4 набрав ідеальний бал 10 із 10. Досвідчені лікарі (attendings) у середньому набрали 9. Лікарі-ординатори (residents) — у середньому 8.
Чат-бот виявився “рідше” повністю неправий, ніж лікарі-ординатори.
Додаткове дослідження JAMA Network Open перевірило межі можливостей. Дослідники протестували 50 лікарів на п’яти екстремально складних випадках. ChatGPT, працюючи самостійно, досягнув точності 90%. Лікарі, які працювали без помічників, показали результат 74%. Лікарі, які використовували ChatGPT як інструмент, показали 76%.
ІІ-асистент не допоміг значно. Чому? Багато лікарів ігнорували чи сумнівалися у рекомендаціях бота.
Великі дослідження підтверджують цей розрив. Журнал Nature опублікував роботу 2025 року про модель Google AMIE. Вона тестувала 302 складні реальні випадки за участю 20 клініцистів. AMIE знаходила правильний діагноз у 59% випадків. Без допомоги клініцисти показували результат 34%. Лікарі, які використовували AMIE, перевершили тих, хто використовував стандартні пошукові системи.
Метааналіз 50 досліджень у журналі npj Digital Medicine дійшов висновку, що ІІ загалом показує результати, порівняні з лікарями, котрий іноді найкращі, на стандартизованих завданнях.
Але є важливе обмеження. Ці дослідження використовують письмові описи випадків. Структуровані запити. Добірні випадки. Це не реальне життя.
Де ІІ-діагностика підводить реальних користувачів
Реальна порада виглядає інакше. Він включає тижні несценаризованого спілкування. Він містить неповну інформацію. Він передбачає фізичного огляду.
Дослідження показують, що ІІ зазнає труднощів, коли зникає сценарій.
Дослідження в NEJM AI створило тестову базу з 750 питань. Використовувалося тестування на узгодженість сценаріїв, яке вимірює, як нова інформація має змінювати діагноз при невизначеності. У ньому змагалися десять провідних моделей ІІ та 1500 медичних фахівців.
OpenAI’s o3, лідер за результатами, показав точність лише 68%. Це нижче за рівень старших ординаторів. Це іронічно. Ці ж моделі блискуче складають іспити з множинним вибором для отримання медичної ліцензії.
Високі бали на тестах не рівні здорового клінічного судження в messy (хаотичній) реальності хворого тіла.
Проблема посилюється галюцинаціями.
Дослідження в Communications Medicine надало шість чат-ботів – включаючи GPT-4o і DeepSeek – клінічні випадки, що містять брехню. Вигадані лабораторні випробування. Вигадані хвороби.
При стандартних налаштуваннях моделі приймали цю брехню у 50–83% випадків. Вони впевнено описували вигадані хвороби як факти. Простий запит із попередженням ІІ про те, що введення може бути помилковим, допомогло. Але не запобіг помилки.
Потім є ризик недоглядів.
Команда під керівництвом Стенфорда оцінила 20 моделей у 1100 випадках. Вони шукали не лише діагностичну точність. Вони оцінювали потенційну шкоду.
Пряме застосування порад несло ризик серйозної шкоди чи смерті у 24,6% випадків. Понад 80% цих помилок пов’язані з недоглядами. ІІ не відзначив щось небезпечне. Він промовчав.
Досвід Уінтерса віддзеркалює це мовчання. Посилення заспокоєння замість термінової referral (спрямованості) у клініку. Чат-бот, який говорить вам сидіти нерухомо, поки в ногах утворюються тромби.
Проблема впровадження, а не тільки проблеми моделі
Опитування 2025 від Sermo серед більш ніж 1000 лікарів підтверджує побоювання. 94% лікарів стурбовані тим, що пацієнти використовують ІІ для медичних порад. Помилковий діагноз та затримка лікування – головні страхи.
Дослідження створюють роздвоєну картину.
У вузьких, чітко визначених задачах? ІІ зіставимо з лікарями або перевершує їх.
У відкритих, високовідповідальних людських взаємодіях? Він зазнає невдачі. Він галюцинує. Він упускає критичні попередження.
Для медичних систем та технологічних компаній це не просто питання компетенції. Це є помилка проектування. Одна й та сама модель, яка здала тестовий випадок на відмінно, може впевнено розповідати про вигаданий смертельний вирок або переконувати наляканого користувача чекати надто довго.
Діагностичний потенціал ІІ реальний. У деяких структурованих метриках він перевищує середній рівень лікаря.
Але те, чи виживе ця обіцянка при контакті з людською поведінкою, невідомо. Люди взаємодіють із ІІ не як учасники стандартизованих тестів. Вони вводять симптоми о 3 годині ночі, страждаючи від болю. Вони хочуть розради. Вони вразливі.
Суди, лікарні та дослідники ще багато чому мають навчитися. Наступна хвиля справ вирішить, чи звузиться цей розрив, чи розшириться до прірви.
