KI-Halluzinationen sind kein Fehler. Sie sind ein Merkmal der grundlegenden Funktionsweise großer Sprachmodelle.

Wenn ein großes Sprachmodell eine überzeugende, detaillierte und völlig erfundene Antwort generiert, liegt kein Fehler vor. Es erfüllt genau seine Funktion: Es sagt das nächstwahrscheinlichste Wort voraus. Das Problem ist, dass statistische Wahrscheinlichkeit nicht der faktischen Wahrheit entspricht.

KI-Halluzinationen treten auf, wenn ein Modell Informationen erzeugt, die plausibel klingen, aber weder durch die Trainingsdaten noch durch den Kontext gestützt werden. Dies reicht von der Erfindung nicht existierender wissenschaftlicher Zitate über die falsche Zuordnung von Zitaten bis hin zur Generierung von Präzedenzfällen, über die noch nie entschieden wurde. Die Gefahr liegt nicht in der Ungenauigkeit selbst, sondern im autoritären Tonfall, in dem sie präsentiert wird.

Die Ursachen sind struktureller Natur. Sprachmodelle werden mit umfangreichen, aber endlichen Datensätzen trainiert und lernen, Muster nachzuahmen, anstatt Fakten zu überprüfen. Ihnen fehlt ein Mechanismus, um zwischen ihrem Wissen und ihren Schlussfolgerungen zu unterscheiden. Wenn Wissenslücken auftreten, füllt das Modell diese nahtlos, da es kein internes Signal für Unsicherheit besitzt.

Die Folgen sind gravierend. Im Gesundheitswesen kann eine durch Halluzinationen hervorgerufene Wechselwirkung von Medikamenten einen Patienten gefährden. Im juristischen Bereich haben gefälschte Präzedenzfälle bereits zu Sanktionen gegen Anwälte geführt. In Unternehmen können automatisierte Berichte, die auf fehlerhaften Daten basieren, zu falschen strategischen Entscheidungen führen.

Zu den aktuellen Strategien zur Problembehebung gehören die durch Datenabfrage unterstützte Generierung, bei der Antworten auf verifizierten externen Quellen basieren, die Bewertung von Konfidenzwerten zur Kennzeichnung unsicherer Ergebnisse sowie die manuelle Überprüfung kritischer Anwendungen. Keine dieser Maßnahmen beseitigt das Problem jedoch vollständig. Sie verringern lediglich die Häufigkeit, nicht die Möglichkeit des Auftretens.

Die grundlegendere Frage, der sich die Branche stellen muss, ist nicht, ob Halluzinationen beseitigt werden können, sondern wie Systeme Endnutzern Unsicherheit vermitteln sollen. Transparenz über die Grenzen der KI-Leistung ist möglicherweise wichtiger als das Streben nach perfekter Genauigkeit.

Wie geht Ihre Organisation mit dem Risiko von KI-Halluzinationen in Produktionssystemen um?