Halluzination bezeichnet bei künstlicher Intelligenz das Phänomen, dass ein Sprachmodell falsche Informationen erzeugt und diese überzeugend als Fakten präsentiert. Das Modell erfindet dabei etwa Quellen, Zahlen, Urteile oder Ereignisse, die nicht existieren. Halluzinationen entstehen, weil Sprachmodelle Wahrscheinlichkeiten für plausible Formulierungen berechnen, statt Wissen aus einer geprüften Datenbank abzurufen.
Wie entstehen KI-Halluzinationen?
Ein Large Language Model erzeugt Texte, indem es Wort für Wort die wahrscheinlichste Fortsetzung berechnet. Es prüft dabei nicht, ob eine Aussage wahr ist — es prüft nur, ob sie sprachlich plausibel klingt. Fehlt dem Modell Wissen zu einer Frage, erfindet es häufig eine Antwort, die überzeugend formuliert, aber inhaltlich falsch ist.
Besonders anfällig sind Detailfragen zu Zahlen, Daten, Namen, Zitaten und Quellenangaben sowie Themen, die in den Trainingsdaten kaum vorkommen. Auch veraltetes Wissen führt zu Fehlern: Ein Modell kennt nur den Stand seiner Trainingsdaten, sofern es keine aktuelle Websuche nutzt.
Warum sind Halluzinationen ein Risiko?
Das Tückische an Halluzinationen ist ihre Überzeugungskraft: Erfundene Inhalte klingen genauso souverän wie korrekte. Wer KI-Texte ungeprüft veröffentlicht, riskiert Falschinformationen auf der eigenen Website — mit Folgen für Glaubwürdigkeit, Suchmaschinen-Rankings und im schlimmsten Fall rechtlicher Haftung.
Für Kanzleien und Steuerberater ist das Risiko besonders relevant: Erfundene Paragraphen, nicht existierende Urteile oder falsche Fristen in Ratgebertexten können Mandanten in die Irre führen und berufsrechtliche Konsequenzen nach sich ziehen. Fachliche Inhalte aus KI-Systemen müssen daher immer von Menschen mit Fachkenntnis geprüft werden.
Halluzinationen erkennen und vermeiden
Vollständig verhindern lassen sich Halluzinationen derzeit nicht, aber deutlich reduzieren. Wirksam sind: dem Modell geprüftes Referenzmaterial mitgeben, auf das es sich stützen soll (etwa per Retrieval Augmented Generation), im Prompt ausdrücklich anweisen, bei Unsicherheit „unbekannt“ zu antworten, und KI-Systeme mit Websuche und Quellenangaben nutzen.
Die wichtigste Maßnahme bleibt die menschliche Kontrolle: Jede Zahl, jedes Zitat, jede Quellenangabe und jede rechtliche Aussage aus einem KI-Text gehört gegengeprüft, bevor sie veröffentlicht wird. Ein fester Redaktionsprozess mit Faktencheck sollte bei KI-gestützter Content-Erstellung Standard sein.