Trainingsdaten

Bevor ein Modell Ihnen antworten kann, durchläuft es ein Training: Es verarbeitet eine sehr große Menge an Texten und lernt dabei Muster der Sprache — welche Wörter typischerweise aufeinanderfolgen, wie Sätze gebaut sind, welche Begriffe zusammengehören. Diese Textsammlung sind die Trainingsdaten. Sie sind der Grund, warum ein Modell über erstaunlich viele Themen plausibel sprechen kann. Zwei Dinge sind dabei wichtig zu verstehen. Erstens hat das Training einen Stichtag: Ereignisse, die danach passieren, stecken nicht in den Trainingsdaten — das Modell „weiß“ von sich aus nichts davon. Zweitens speichert das Modell die Texte nicht wie ein Archiv ab, das man durchsuchen könnte; es hat aus ihnen Muster gelernt. Genau daraus entsteht ein typischer Fehler: Wenn das gelernte Muster nicht zur Wirklichkeit passt, kann das Modell überzeugt etwas Falsches behaupten — eine Halluzination.