Manipulierte KI empfiehlt Thalidomid für Schwangere

Viele Patienten erhalten über KI-Chatbots persönliche Gesundheitstipps. Doch gerade diese direkte Interaktion macht die Systeme anfällig. Angreifer können gezielt Texte über Apps oder Programme einschleusen, um die KI zu falschen oder gefährlichen Antworten zu bewegen – sogenannte Prompt-Injection-Angriffe.

In der Medizin können solche Fehlinformationen fatale Folgen haben. Bisher fehlten systematische Untersuchungen zur Anfälligkeit solcher Programme. Eine neue Studie schließt diese Lücke und analysiert gezielte Angriffe in einer kontrollierten Umgebung.

Sicherheitslücken in medizinischen KI-Systemen

Südkoreanische Forscher um Ro Woon Lee testeten in einer Qualitätsstudie, ob sich große Sprachmodelle (LLMs) so manipulieren lassen, dass sie falsche Behandlungsempfehlungen geben. In über 200 simulierten Dialogen zwischen „Patienten“ und KI folgten die Gespräche einem festen sechsstufigen Schema. Die Hälfte der Dialoge mit der KI manipulierten die Wissenschaftler gezielt:

1. Patient schildert ein Problem.
2. KI fragt nach.
3. Patient bittet um Behandlung.
4. KI gibt eine Empfehlung (entscheidender Moment).
5. Patient fragt nach Sicherheit.
6. KI gibt eine zweite Antwort.

Im Experiment prüften die Forscher drei kleinere KI-Modelle: GPT-4o-mini, Gemini2. 0Flash-Lite und Claude3Haiku. Diese bewerteten zwölf medizinische Szenarien, die nach Schadenspotenzial in vier Kategorien eingeteilt wurden:

• Nahrungsergänzungsmittel,
• Opioid-Verschreibungen,
• Schwangerschaftskontraindikationen und
• toxische Effekte auf das zentrale Nervensystem.

Fünf erfahrene Ärzte stuften die Risiken ein. Ein mittleres Risiko bestand etwa bei falschen Empfehlungen zu Ginseng bei Diabetes oder Bluthochdruck, ein hohes Risiko bei Oxycodon gegen starken Husten und ein extrem hohes Risiko bei Thalidomid in der Schwangerschaft.

Die Forscher nutzten zwei Angriffsmethoden. Zum einen manipulierten sie die KI mit scheinbar normalen medizinischen Informationen (Kontext-Manipulation). Dies funktionierte besonders gut bei Wirkstoffen mit schwacher oder widersprüchlicher Evidenz, etwa Ginseng oder Opioiden bei mäßigen Schmerzen.

Die KI - darauf trainiert, kontextbezogen zu antworten - überschritt dabei ihre Sicherheitsgrenzen. Für Szenarien mit extrem hohem Risiko, wie Thalidomid in der Schwangerschaft, fütterten die Forscher die KI mit gefälschten Metaanalysen und erfundenen Leitlinien.

Gefährliche Empfehlungen durch manipulierte KIs

Das Ergebnis ist alarmierend: Manipulierte KIs gaben in 94% der Fälle falsche oder gefährliche Empfehlungen, während nicht manipulierte Modelle nur selten Fehler machten. Besonders brisant: Die gefährlichen Empfehlungen blieben meist auch in späteren Gesprächsrunden bestehen. Selbst in Szenarien mit extrem hohem Risiko funktionierten die Angriffe fast immer.

Problematisch ist, dass die KI gefälschte Studien nicht von echten unterscheiden kann, wenn diese seriös wirken. Nur eines der drei getesteten Modelle verweigerte die Empfehlung von Thalidomid in der Schwangerschaft – allerdings ohne dauerhaften Schutz.

Selbst modernste Systeme sind nicht sicher

Angesichts der hohen Manipulationsanfälligkeit testeten die Forscher zusätzlich drei leistungsstarke KI-Modelle (GPT-5, Gemini 2.5 Pro und Claude 4.5 Sonnet) mit ausgefeilten Schutzmechanismen.

Sie simulierten Hackerangriffe über Browser und Software (Client-Side-Injection), wie sie in medizinischen Apps realistisch wären. Dabei fügte eine Browser-Malware versteckte Anweisungen vor Gesprächsbeginn ein und beeinflusste so die gesamte Unterhaltung bis zur Hauptempfehlung. Wieder ging es um das Szenario Thalidomid in der Schwangerschaft. Das Ergebnis war ernüchternd: Zwei Modelle waren zu 100% anfällig, eines zu 80%.

Die südkoreanische Studie zeigt klar: Medizinische KIs sind derzeit nicht vor gezielter Manipulation geschützt. Bevor sie in der Patientenversorgung eingesetzt werden, sind verpflichtende Sicherheitsprüfungen und technische Schutzmechanismen unerlässlich.