Scott Winters dachte, er hätte die Grippe. Stattdessen wäre er fast gestorben, weil er darauf vertraute, dass ein Chatbot ihm das Gegenteil sagen würde.
Der ehemalige Pastor aus Florida verklagt OpenAI und Sam Altman vor dem San Francisco County Superior Court. Sein Anspruch? Der medizinische Rat von ChatGPT trug zu der Lungenembolie bei, die ihn beinahe getötet hätte.
Folgendes geschah im Jahr 2025: Winters klagte über Schwindel. Sein Blutdruck war instabil. Er wandte sich an ChatGPT-4o.
Die KI geriet nicht in Panik. Die Symptome wurden als geringfügig abgetan. Es sagte Winters, er solle an den Liegestuhl gefesselt bleiben. Der Bot errechnete, dass er noch acht bis zehn weitere „Episoden“ brauchte, bevor sein Zustand wirklich Anlass zur Sorge gab.
Wochen später bildete sich ein Blutgerinnsel in seiner Lunge. Einer von Winters‘ eigenen Ärzten brachte das Gerinnsel mit der längeren Immobilität in Verbindung, die der Chatbot ausdrücklich empfohlen hatte.
An dem Tag, an dem die Schmerzen ihren Höhepunkt erreichten, fragte Winters, ob wegen der Schmerzen in der Leistengegend ein Besuch in der Notaufnahme erforderlich sei. Der Chatbot hat keinen Krankenwagen gerufen. Es berief sich auf seinen Glauben. Berichten zufolge hieß es darin: „Gott hat deinen Körper nicht dazu geschaffen, endlos zu versagen.“
Die Winter wären fast gestorben. Laut OpenAI handelt es sich bei seinen Tools nicht um medizinische Geräte, und Benutzer sollten sich bei der Diagnose nicht auf sie verlassen. Die Anwälte von Winters sind anderer Meinung. Sie wollen finanziellen Schadenersatz. Sie möchten auch ChatGPT Health pausieren. Sie wollen eine unabhängige Sicherheitsbewertung.
Dies ist nicht das erste Mal, dass eine KI für eine Gesundheitskrise verantwortlich gemacht wird.
Im Mai verklagte ein texanisches Ehepaar Open AI, nachdem ihr Sohn eine Überdosis genommen hatte. Das Argument: Ihr Sohn hatte auf ChatGPT nach Drogeninformationen gesucht und dabei Sicherheitsmaßnahmen ignoriert, weil der Bot brauchbare Antworten lieferte.
Diese Klagen stellen eine schwierige Frage dar. Wie viel Verantwortung tragen KI-Unternehmen, wenn Nutzer in einer Krise medizinische oder psychologische Hilfe in Anspruch nehmen?
Was die Forschung tatsächlich über KI-Diagnose sagt
Der Fall Winters fühlt sich wie ein Albtraum an. Aber kontrollierte Untersuchungen deuten darauf hin, dass die Geschichte nuancierter ist. In starren, skriptgesteuerten Umgebungen ist die KI erschreckend gut bei der Diagnose.
In einer JAMA Internal Medicine -Studie aus dem Jahr 2024 wurde GPT-4 mit menschlichen Ärzten verglichen. Der Test umfasste 20 klinische Fälle, die anhand der klinischen Argumentationsskala von r-IDEA bewertet wurden.
GPT-4 erzielte perfekte 10 von 10 Punkten. Die Besucherzahl lag im Durchschnitt bei 9. Die Einwohnerzahl lag im Durchschnitt bei 8.
Der Chatbot lag tatsächlich seltener völlig daneben als die menschlichen Bewohner.
Eine Folgestudie im JAMA Network Open hat neue Maßstäbe gesetzt. Forscher testeten 50 Ärzte an fünf äußerst schwierigen Fällen. ChatGPT erreichte allein im Betrieb eine Genauigkeit von 90 %. Allein arbeitende Ärzte erreichten 74 %. Ärzte, die ChatGPT als Tool nutzen, erreichten 76 %.
Der KI-Assistent hat nicht viel geholfen. Warum? Viele Ärzte ignorierten oder hinterfragten die Vorschläge des Bots.
Größere Studien verstärken diese Lücke. Nature veröffentlichte im Jahr 2025 Arbeiten zum AMIE-Modell von Google. Es wurden 302 komplexe Fälle aus der Praxis mit 20 Klinikern getestet. AMIE fand in 59 % der Fälle die richtige Diagnose. 34 % der Zahl der nicht unterstützten Ärzte betrug. Ärzte, die AMIE nutzen, übertrafen diejenigen, die Standardsuchmaschinen verwendeten.
Eine Metaanalyse von 50 Studien im Rahmen von npj Digital Medicine kam zu dem Schluss, dass KI bei standardisierten Aufgaben im Allgemeinen vergleichbare Leistungen erbringt wie Kliniker, manchmal sogar besser.
Aber es gibt einen massiven Vorbehalt. Diese Studien verwenden schriftliche Vignetten. Strukturierte Eingabeaufforderungen. Handverlesene Fälle. Sie sind kein echtes Leben.
Wo die KI-Diagnose versagt, reale Benutzer
Ratschläge in der Praxis sehen anders aus. Es erfordert wochenlange Gespräche ohne Drehbuch. Es handelt sich um unvollständige Informationen. Es ist keine körperliche Untersuchung erforderlich.
Untersuchungen zeigen, dass die KI Schwierigkeiten hat, wenn das Skript verschwindet.
Eine NEJM AI -Studie erstellte einen Benchmark mit 750 Fragen. Es wurden Skriptkonkordanztests verwendet, die messen, wie neue Informationen eine Diagnose unter Unsicherheit verändern sollten. Dabei traten zehn führende KI-Modelle gegen 1.500 Mediziner an.
o3 von OpenAI, der Spitzenreiter, erreichte nur eine Genauigkeit von 68 %. Das liegt unter dem Niveau der Senioren. Das ist ironisch. Dieselben Modelle bestehen die Multiple-Choice-Prüfungen zur medizinischen Zulassung.
Hohe Testergebnisse sind nicht gleichbedeutend mit einem gesunden klinischen Urteilsvermögen in der chaotischen Realität eines kranken Körpers.
Bei Halluzinationen wird das Problem noch schlimmer.
Eine Studie in der Kommunikationsmedizin fütterte sechs Chatbots – darunter GPT-4o und DeepSeek – mit klinischen Vignetten voller Lügen. Erfundene Labortests. Erfundene Krankheiten.
Unter Standardbedingungen akzeptierten die Modelle diese Lügen in 50 % bis 83 % der Fälle. Sie bezeichneten erfundene Krankheiten selbstbewusst als Tatsachen. Eine einfache Eingabeaufforderung, die die KI warnte, dass die Eingabe möglicherweise falsch sei, half. Aber es hat die Fehler nicht gestoppt.
Dann besteht das Risiko einer Unterlassung.
Ein von Stanford geführtes Team bewertete 20 Modelle in 1.100 Fällen. Sie suchten nicht nur nach diagnostischer Genauigkeit. Sie suchten nach möglichen Gefahren.
Bei direkter Anwendung der Ratschläge bestand in 24,6 % der Fälle das Risiko schwerer Schäden oder des Todes. Über 80 % dieser Fehler waren Auslassungen. Die KI konnte etwas Gefährliches nicht kennzeichnen. Es blieb still.
Die Erfahrung von Winters spiegelt diese Stille wider. Eskalierende Beruhigung statt dringender Überweisung. Ein Chatbot, der Sie auffordert, still zu sitzen, während Ihre Beine gerinnen.
Das Bereitstellungsproblem, nicht nur das Modellproblem
Eine Sermo-Umfrage aus dem Jahr 2025 unter über 1.000 Ärzten bestätigt die Befürchtung. 94 % der Ärzte sind besorgt darüber, dass Patienten KI für medizinische Beratung nutzen. Fehldiagnosen und verspätete Pflege sind die größten Sorgen.
Die Recherche ergibt ein gespaltenes Bild.
In engen, klar definierten Aufgaben? KI gleicht Ärzten oder schlägt sie.
In offenen menschlichen Interaktionen mit hohem Risiko? Es scheitert. Es halluziniert. Kritische Warnungen werden weggelassen.
Für Gesundheitssysteme und Technologieunternehmen ist dies nicht nur eine Frage der Kompetenz. Es handelt sich um einen Designfehler. Dasselbe Modell, das den Testfall erfolgreich bestand, kann ein erfundenes Todesurteil souverän erzählen oder einen verängstigten Benutzer dazu überreden, zu lange zu warten.
Das diagnostische Potenzial der KI ist real. In einigen strukturierten Kennzahlen übertrifft es den durchschnittlichen Arzt.
Ob dieses Versprechen jedoch den Kontakt mit menschlichem Verhalten überdauert, ist unbekannt. Menschen interagieren mit KI nicht wie standardisierte Testteilnehmer. Sie geben die Symptome um 3 Uhr morgens in Form von Schmerzen ein. Sie wollen Sicherheit. Sie sind verletzlich.
Die Gerichte, Krankenhäuser und Forscher müssen noch viel herausfinden. Die nächste Fallwelle wird darüber entscheiden, ob sich diese Lücke schließt oder ob sie zu einer Kluft wird.
