Benefit medizinischer KI von Nutzerkompetenz abhängig
Künstliche Intelligenz kann die diagnostische Genauigkeit bei Hauterkrankungen verbessern, doch ihr Nutzen hängt wesentlich von der Erfahrung der Anwender ab.
Das zeigt eine Studie von Forschenden des Massachusetts Institute of Technology (MIT) und weiterer Einrichtungen, in der untersucht wurde, wie verschiedene Formen erklärbarer künstlicher Intelligenz (Explainable AI, XAI) die diagnostische Leistung von Laien und medizinischen Fachkräften beeinflussen.
Die Forschenden führten zwei groß angelegte Experimente durch. Daran nahmen 623 Personen aus der Allgemeinbevölkerung und 153 Primary-Care-Ärztinnen und -Ärzte teil. Untersucht wurde die dermatologische Diagnostik mit und ohne Unterstützung durch KI. Zum Einsatz kamen unterschiedliche Formen der erklärbaren KI: eine reine KI-Prognose mit Angabe der Konfidenz, eine Darstellung relevanter Bildregionen mittels Heatmap, die Anzeige ähnlicher Referenzbilder sowie Erklärungen durch ein multimodales Large Language Model (LLM).
Bei den Laien verbesserte KI-Unterstützung die diagnostische Genauigkeit bei der Unterscheidung von Melanomen und Nävi. Die Genauigkeit stieg in der Studie von durchschnittlich 69,7 auf 75,8 Prozent. Die Forschenden führen die Verbesserung jedoch wesentlich darauf zurück, dass die Teilnehmenden den KI-Empfehlungen folgten. Besonders deutlich war dieser Effekt bei den LLM-basierten Erklärungen. Waren die KI-Empfehlungen korrekt, verbesserten die Erklärungen die Leistung; waren sie falsch, verschlechterten sie die diagnostische Genauigkeit. Falsche LLM-Empfehlungen reduzierten die Leistung der Laien dabei stärker als die anderen untersuchten Formen der KI-Erklärung.
Die Laien vertrauten den LLM-Erklärungen zudem auch dann, wenn diese falsch waren. Auffällig war, dass sie Erklärungen teilweise gerade dann überzeugender fanden, wenn diese vage oder allgemein gehalten waren. Bei fehlerhaften KI-Empfehlungen führte die Unterstützung durch ein LLM außerdem zu einer schlechteren Übereinstimmung zwischen dem Vertrauen der Teilnehmenden in ihre Diagnose und deren tatsächlicher Richtigkeit. Die Forschenden sehen darin einen Hinweis auf eine ausgeprägte Automation Bias, also die Tendenz, automatisierten Empfehlungen auch dann zu folgen, wenn diese fehlerhaft sind.
Bei den Primary-Care-Ärztinnen und -Ärzten zeigte sich ein anderes Bild. Ihre diagnostische Leistung verbesserte sich durch KI-Unterstützung ebenfalls deutlich. Falsche KI-Empfehlungen beeinflussten ihre abschließenden Entscheidungen jedoch nur gering. Die medizinisch erfahrenen Teilnehmenden waren damit wesentlich widerstandsfähiger gegenüber fehlerhaften KI-Vorgaben und nutzten offenbar ihre eigene fachliche Einschätzung, um die KI-Empfehlungen zu bewerten. Medizinische Studierende zeigten dagegen eine stärkere Tendenz, den KI-Empfehlungen zu folgen.
Auch der Zeitpunkt der KI-Unterstützung spielte eine Rolle. Wurde die KI-Empfehlung vor der eigenen diagnostischen Einschätzung präsentiert, war die Tendenz zur Orientierung an der KI stärker. Die Forschenden schließen daraus, dass nicht allein die Leistungsfähigkeit eines KI-Modells entscheidend ist. Auch die Gestaltung der Mensch-KI-Interaktion und die Erfahrung der Nutzerinnen und Nutzer müssen berücksichtigt werden.
Die Ergebnisse sprechen nach Ansicht der Forschenden dafür, KI-Systeme so zu gestalten, dass sie kritisches Denken fördern und nicht zu einer übermäßigen Abhängigkeit von automatisierten Empfehlungen führen. Als möglichen Ansatz nennen sie, Nutzerinnen und Nutzer zunächst selbst eine diagnostische Hypothese formulieren zu lassen und erst anschließend eine KI-basierte Einschätzung bereitzustellen, die auf weitere mögliche Diagnosen aufmerksam macht.
Massachusetts Institute of Technology
Xu, X.‘., Hu, H., Zhang, H. et al. Divergent impacts of explainable AI for dermatological diagnosis on clinicians versus lay people. Nat Med 32, 3000–3009 (2026).