Warum halluzinieren LLMs manchmal?

Frage

Warum erfinden Large Language Models manchmal Fakten, die nicht stimmen?

Kurze Antwort

LLMs haben kein Weltwissen im menschlichen Sinn. Sie berechnen Wahrscheinlichkeiten für das nächste Wort. Wenn die statistische Verteilung zu einem Thema unsicher ist, erzeugen sie plausibel klingenden aber falschen Text – eine sogenannte Halluzination.

Ursachen

Ursache	Erklärung
Kein Faktengedächtnis	LLMs speichern keine Datenbank – sie lernen statistische Muster aus Text
Lücken in Trainingsdaten	Zu seltenen Themen gibt es wenig Signal, das Modell „rät"
Überverallgemeinerung	Muster aus häufigen Kontexten werden auf unpassende Fälle übertragen
Kein „Ich weiß nicht"	Das Modell ist darauf trainiert, immer eine Antwort zu geben
Veraltetes Wissen	Trainingsdaten haben einen Stichtag – neuere Fakten fehlen
Lange Kontexte	Bei sehr langen Gesprächen kann das Modell den Überblick verlieren

Beispiel

Frage: „Wer hat das Buch Die Stille der Lämmer geschrieben?"

Ein LLM könnte antworten: „Thomas Harris, erschienen 1988" – korrekt.
Aber bei einer obskuren Frage wie „Wer war der dritte Bürgermeister von Kleinkleckersdorf?" erfindet es möglicherweise einen Namen, der plausibel klingt, aber nie existiert hat.

Wichtig: Halluzinationen sind kein „Lügen" im menschlichen Sinn. Das Modell hat keine Absicht zu täuschen – es produziert die statistisch wahrscheinlichste Fortsetzung, auch wenn diese faktisch falsch ist.

Typen von Halluzinationen

Fakten-Halluzination – erfundene Namen, Daten, Zahlen
Quellen-Halluzination – nicht existierende Bücher, Papers, URLs
Logik-Halluzination – falsche Schlussfolgerungen trotz korrekter Prämissen
Selbstwiderspruch – im selben Text sich widersprechende Aussagen

Gegenmaßnahmen

RAG (Retrieval-Augmented Generation) – externe Quellen zur Antwortzeit einbinden
Grounding – Antworten an verifizierte Datenquellen koppeln
Chain-of-Thought – schrittweises Reasoning erzwingen
Temperatur senken – weniger „kreative" Zufälligkeit
Fact-Checking-Layer – nachgelagerte Prüfung der Ausgabe
Nutzer-Awareness – kritisches Hinterfragen der Antworten

Forschungsfeld

Halluzinationen sind eines der größten offenen Probleme in der LLM-Forschung. Aktive Bereiche:

Faithfulness & Factuality
Calibration (weiß das Modell, was es nicht weiß?)
Retrieval-Augmented Generation
Evaluation-Benchmarks für Halluzinationen

← Zurück zur KI-Übersicht