Tokenisierung bezeichnet das Zerlegen von Text in kleine Einheiten, sogenannte Tokens, die ein KI-Sprachmodell verarbeiten kann. Ein Token ist oft ein Wort, ein Wortteil oder ein Satzzeichen. Da Modelle nicht mit Buchstaben, sondern mit diesen Tokens rechnen, ist die Tokenisierung ein grundlegender Zwischenschritt. Sie bestimmt auch, wie Länge, Kosten und Grenzen einer KI-Nutzung berechnet werden.
Wie funktioniert Tokenisierung?
Bevor ein Sprachmodell Text verarbeitet, wird dieser in Tokens zerlegt. Ein Verfahren teilt den Text nach gelernten Mustern auf: Häufige Wörter werden oft zu einem einzigen Token, seltene oder lange Wörter in mehrere Teilstücke zerlegt. Das deutsche Wort „Steuerberatung“ kann so aus mehreren Tokens bestehen, während „und“ ein einzelnes ist.
Als grobe Faustregel entspricht ein Token im Deutschen ungefähr einem kurzen Wortteil; einige wenige Tokens ergeben ein durchschnittliches Wort. Die genaue Aufteilung hängt vom jeweiligen Modell und seiner Tokenisierung ab. Nach der Verarbeitung werden die vom Modell erzeugten Tokens wieder in lesbaren Text zurückübersetzt.
Warum ist Tokenisierung wichtig?
Tokens sind die Recheneinheit von Sprachmodellen – und damit auch die Abrechnungseinheit. Die Kosten einer KI-Nutzung über eine Schnittstelle bemessen sich meist nach der Zahl der verarbeiteten Tokens, getrennt nach Eingabe und Ausgabe. Wer versteht, dass längere Prompts und Antworten mehr Tokens und damit höhere Kosten bedeuten, kann den Einsatz gezielter planen.
Zudem hat jedes Modell eine maximale Anzahl an Tokens, die es auf einmal verarbeiten kann – sein Kontextfenster. Ist ein Dokument zu lang, muss es aufgeteilt werden. Die Tokenisierung erklärt damit, warum sehr umfangreiche Texte nicht in einem Durchgang zusammengefasst oder analysiert werden können und wie sich Nutzungskosten zusammensetzen.
Tokenisierung in der Praxis
Für die praktische Arbeit mit KI ist wichtig, ein Gefühl für Tokenmengen zu entwickeln. Lange Systemanweisungen, umfangreiche Beispieltexte oder ganze Dokumente im Prompt erhöhen den Tokenverbrauch spürbar. Wer viele Anfragen automatisiert, sollte Prompts schlank halten und nur die wirklich nötigen Informationen mitgeben.
Auch Sprache spielt eine Rolle: Deutsche Texte erzeugen tendenziell etwas mehr Tokens als vergleichbare englische, weil Wörter oft länger sind und stärker in Teile zerlegt werden. Für eine grobe Kostenschätzung genügt es meist, die ungefähre Textlänge in Tokens umzurechnen; die Anbieter stellen dafür Hilfsmittel bereit.