Medizin-Forschung : Wenn Künstliche Intelligenz diskriminiert: Sozialer Status beeinflusst KI-Diagnosen

Künstliche Intelligenz gewinnt auch in der Medizin zunehmend an Einfluss. Eine Studie zeigt, was daran gefährlich ist – und warum Frauen und zahlreiche Minderheiten benachteiligt werden

Künstliche Intelligenz spielt wie in so vielen Bereichen auch in der Medizin eine immer größere Rolle – doch das birgt nicht nur Chancen, sondern auch Gefahren. Eine neue in der Fachzeitschrift "Nature Medicine" veröffentlichte Studie zeigt etwa, dass KI-Modelle für dieselbe Erkrankung unterschiedliche Behandlungen empfehlen können, wenn Patienten unterschiedliche sozioökonomische oder demografische Hintergründe haben.

Im Rahmen ihrer Untersuchung unterzog das internationale Forschungsteam unter Leitung der Icahn School of Medicine at Mount Sinai in New York neun große KI-Sprachmodelle (LLMs) einem Stresstest an 1.000 Fällen in der Notaufnahme, die jeweils mit 32 verschiedenen Patientenhintergründen durchgeführt wurden.

Die einzig wechselnden Angaben waren jene zur ethnischen Zugehörigkeit, Geschlecht, sexueller Orientierung oder sozioökonomischem Status der fiktiven Patienten. Dadurch entstanden mehr als 1,7 Millionen KI-generierte medizinische Empfehlungen.

Minderheiten werden benachteiligt

Trotz identischer klinischer Details änderten die KI-Modelle ihre Entscheidungen gelegentlich aufgrund des sozioökonomischen und demografischen Profils eines Patienten. Patienten mit hohem Einkommen wurden beispielsweise häufiger fortgeschrittene diagnostische Untersuchungen wie CT-Scans oder MRT empfohlen, während Patienten mit niedrigem Einkommen häufiger von weiteren Untersuchungen abgeraten wurde.

Zudem zeigte die Studie, dass Patienten, die in den Fallbeschreibungen als "schwarz", "obdachlos" oder queer beschrieben wurden, deutlich häufiger Empfehlungen für psychologische Beurteilungen, invasive Eingriffe oder stationäre Aufnahmen erhielten – unabhängig von der klinischen Notwendigkeit. So wurden etwa queere Menschen sechs- bis siebenmal häufiger als medizinisch angezeigt an psychiatrische Dienste verwiesen.

Ungleichheiten können verschärft werden

Die Forscherinnen und Forscher betonen, dass diese Unterschiede nicht durch medizinische Richtlinien gedeckt seien und auf diskriminierende Tendenzen in den Modellen hindeuten. "Die Verzerrungen könnten reale gesundheitliche Ungleichheiten nicht nur abbilden, sondern sogar verschärfen", warnt Mitautor Eyal Klang. "Wenn KI-Modelle unreflektiert in medizinische Entscheidungsprozesse eingebunden werden, riskieren wir neue Formen der Diskriminierung – mit ganz realen Folgen für Patientinnen und Patienten."

Besonders benachteiligt waren dabei Personen, die zu mehr als einer der betroffenen Gruppen gehörten, also beispielsweise queere Menschen mit niedrigem Einkommen oder Schwarze in Obdachlosigkeit.

Forschungen wie diese sind laut Mahmud Omar – Arzt, Wissenschaftler und Erstautor der Studie – wichtig, um den sich ausbreitenden Einsatz von KI in der Medizin zu verbessern und gerechter zu machen. Auch Co-Seniorautor Girish N. Nadkarni betont: "KI hat das Potenzial, die Gesundheitsversorgung zu revolutionieren, aber nur, wenn sie verantwortungsvoll entwickelt und eingesetzt wird."

Potenziale von KI für die Medizin sind unbestritten

Dass KI Gutes bewirken kann, ist in der Wissenschaft relativ unumstritten. So sollen laut einer im Fachblatt "British Journal of General Practice" veröffentlichten Studie Patienten mit erhöhtem Lungenkrebsrisiko durch KI bald bis zu vier Monate früher identifiziert werden können als bisher.

Einem Beitrag mehrerer Wissenschaftler in der Fachzeitschrift "Jama Pediatrics" zufolge kann KI zudem dazu beitragen, die Gesundheitsversorgung für Menschen mit geistigen und entwicklungsbedingten Behinderungen zu verbessern. Voraussetzung dafür sei jedoch die aktive Einbindung Betroffener in Entwicklung und Umsetzung entsprechender Technologien.

Wie verbreitet ist KI in der Medizin in Deutschland?

Doch wie verbreitet ist die Nutzung von KI in der deutschen Medizin im Jahr 2025 überhaupt schon? Laut Sylvia Thun, Professorin für Digitale Medizin an der Berliner Charité, wird KI besonders in Bereichen wie der Pathologie, Dermatologie, Radiologie, Kardiologie und Onkologie immer häufiger verwendet.

Hier setze man KI zur Unterstützung bei Diagnosen und Therapieentscheidungen ein. Sie könnte auch beispielsweise bei der Auswertung von Bilddaten in der Radiologie helfen, "was die Arbeitsbelastung der Radiologen reduziert und die Präzision gegebenenfalls erhöht", so Thun.

Die Ergebnisse der Studie kann die Professorin bestätigen: "Demografische und sozioökonomische Daten spielen eine entscheidende Rolle bei der Entwicklung und Anwendung von KI-Systemen im Gesundheitswesen." Das führe zur Benachteiligung zahlreicher Gruppen.

Diagnosen können gefährliche Folgen haben

Auch Christiane Woopen, Direktorin des Center for Life Ethics an der Uni Bonn, sieht in der Studie die Bestätigung für ethische Bedenken, die schon seit langem im Raum stünden: "KI kann zu ungerechten und diskriminierenden Ergebnissen führen, mit weitreichenden Folgen für ohnehin schon benachteiligte Gruppen und die ganze Gesellschaft", sagt sie. Das gelte auch für die Medizin.

"In dieser Studie zeigt sich nun, dass die KI-Modelle den Informationen über den ethnischen Hintergrund, über Obdachlosigkeit, Gender und Höhe des Einkommens der Patienten größeres Gewicht beigemessen haben als den klinisch einschlägigen Befunden." Das führe zu schlechterer medizinischer Versorgung, zur Fehlverteilung knapper Ressourcen und zur Verstärkung von Vorurteilen.

"Ethisch ist das eine klare Absage an die Tauglichkeit dieser KI-Modelle für den in der Studie beschriebenen Einsatz in der klinischen Versorgung", betont Woopen. "Es gibt aber andere KI-Systeme, die sehr wohl geprüft und auf einen spezifischen Einsatzzweck hin trainiert worden sind, zum Beispiel bei bildgebenden Verfahren zur Tumordiagnostik."

Frauen können von KI benachteiligt werden

Eine besonders große benachteiligte Gruppe – immerhin machen sie etwa die Hälfte der Weltbevölkerung aus – seien Frauen, betont die Medizinerin Thun. Sie seien in den Trainingsdaten unterrepräsentiert, da sie seltener in klinischen Studien vorkommen. Die Algorithmen werden häufig hauptsächlich mit Daten von Männern gefüttert – und können daher bei der Diagnose von Frauen unzuverlässiger sein.

"Die potenzielle systematische Ungleichbehandlung durch KI-Systeme ist besorgniserregend. Aus ethischer Sicht ist es unerlässlich, dass KI-Anwendungen im Gesundheitswesen Transparenz, Gerechtigkeit und Inklusivität gewährleisten", betont Thun daher. Dafür brauche es: 

• Diversität in den Trainingsdaten
• Regelmäßige Überprüfungen, um Verzerrungen frühzeitig zu erkennen und zu korrigieren
• Schulungen für Menschen in Wissenschaft und Medizin
• KI-Modelle mit transparenten Entscheidungsprozessen

"Die Transparenz und Überprüfbarkeit von KI-Entscheidungen sind für das Vertrauen von Ärztinnen, Ärzten sowie Patientinnen und Patienten von zentraler Bedeutung", betont die Forscherin. Zahlreiche KI-Systeme würden aber als "Black Boxes" agieren, deren Entscheidungswege nicht nachvollziehbar sind.

Verantwortung bleibt beim Menschen

Woopen fordert, ethische Erwägungen bei KI-Modellen immer von Anfang an zu berücksichtigen. "Dazu zählt etwa die Auswahl der Trainingsdaten, so dass sie alle relevanten Patientengruppen umfassen. Wichtig sind auch das Überprüfen auf Fehler, Bias und Diskriminierung sowie der Schutz der Privatheit". Nutzende Ärztinnen und Ärzte müssten im Umgang mit KI geschult und die Ergebnisse überprüfbar und korrigierbar sein.

"Die einzelne Ärztin und der einzelne Arzt, erst recht die Patientin und der Patient können die KI nicht überprüfen", betont die Direktorin. Sie könnten nur das Ergebnis selbst beurteilen und müssen sich ansonsten darauf verlassen können, dass die KI hohen, auch ethischen Qualitätsstandards gemäß entwickelt und geprüft wurde. "Die Verantwortung liegt letztlich immer beim Menschen."