Jürgen Schmidt: Die falschen Antworten eines Sprachmodells werden als Halluzination bezeichnet. Das passiert aufgrund der Grundarchitektur dieser Systeme. Letztlich ist es eine Wahrscheinlichkeitsrechnung, die nach einem “Look-Left-Only” Prinzip das nächste Wort in einem Satz mit einer möglichst hohen Wahrscheinlichkeit errechnet. Wir sehen schon, dass das mit "Intelligenz", wie wir sie als Menschen verstehen, eigentlich relativ wenig zu tun hat. Aber die Ergebnisse sind unglaublich gut - zumindest in den meisten Fällen. Wenn ein Sprachmodell nun zu einer bestimmten Frage zu wenig Grundlagen hat oder auch der Kontext, in dem die Frage gestellt wird, nicht ausreichend eingegrenzt wird, kann es passieren, dass die Wahrscheinlichkeit eines Satzes von der eigentlichen Realität relativ weit entfernt ist. Das würde man dann als Halluzination bezeichnen.
Dazu kommt die Problematik des Bias. Das bedeutet, dass die Angaben immer nur so gut sein können wie das Datenmaterial, mit dem das Modell trainiert wurde. Hier passiert es, dass Menschen mit dunkler Hautfarbe weit schlechter erkannt werden können, weil es viel weniger Fotos gibt. Es passiert aber auch, dass z.B. der Begriff Mann in Verbindung mit dem Begriff Krankenhaus ganz eindeutig Arzt ergibt und umgekehrt in diesem Kontext mit dem Begriff Frau auf Krankenschwester referenziert wird. Das liegt daran, dass im Datenmaterial diese Verbindung wesentlich häufiger hergestellt wird und die KI das natürlich übernimmt. Bias ist in fast allen Fällen etwas, das im Training zu finden ist und letztlich nur die Wahrheitsverzerrungen unserer Gesellschaft darstellt.
Bereits 2018 hat Judäa Perl “The Book of Why” geschrieben und gibt dort darüber Auskunft, wie man ein sogenanntes “Reasoning” entwickeln könnte, indem AI-Modelle ihre eigenen Antworten nach Glaubwürdigkeit überprüfen können. Ich würde aber immer empfehlen, die Angaben eines Sprachmodells zu überprüfen und die Quellen zu checken, die dazu angegeben werden.