Ein Token ist die kleinste Texteinheit, mit der ein KI-Sprachmodell arbeitet — meist ein Wort, ein Wortteil oder ein Satzzeichen. Sprachmodelle zerlegen jede Eingabe in Tokens, verarbeiten diese und erzeugen ihre Antwort ebenfalls Token für Token. Tokens sind zugleich die Abrechnungseinheit vieler KI-Dienste und begrenzen über das Kontextfenster, wie viel Text ein Modell gleichzeitig verarbeiten kann.
Wie funktionieren Tokens?
Bevor ein Sprachmodell einen Text verarbeitet, zerlegt ein sogenannter Tokenizer die Eingabe in Tokens. Häufige Wörter bilden oft ein einzelnes Token, seltene oder zusammengesetzte Wörter werden in mehrere Teile zerlegt. Ein deutsches Wort wie „Rechtsschutzversicherung“ besteht daher aus mehreren Tokens, während kurze englische Wörter oft nur eines belegen.
Als grobe Orientierung entspricht ein Token im Durchschnitt etwa einem kurzen Wort oder Wortteil; deutsche Texte benötigen wegen langer Komposita tendenziell mehr Tokens als englische. Das Modell berechnet seine Antwort, indem es Token für Token die jeweils wahrscheinlichste Fortsetzung wählt.
Warum sind Tokens wichtig?
Tokens haben zwei praktische Konsequenzen. Erstens: Kosten. Viele KI-Dienste rechnen ihre API-Nutzung nach verarbeiteten Tokens ab — sowohl für die Eingabe als auch für die erzeugte Antwort. Wer KI in Workflows oder Anwendungen integriert, kalkuliert Kosten deshalb in Tokens.
Zweitens: Kapazität. Jedes Modell hat ein begrenztes Kontextfenster, gemessen in Tokens. Es bestimmt, wie viel Text — Eingabe plus bisheriger Gesprächsverlauf plus Antwort — das Modell gleichzeitig berücksichtigen kann. Überschreitet ein Dokument diese Grenze, muss es gekürzt oder aufgeteilt werden.
Tokens in der Praxis
Für Marketing-Teams wird das Thema relevant, sobald KI über die API in Prozesse eingebunden wird: etwa bei automatisierten Textentwürfen, Chatbots auf der Website oder der Analyse großer Dokumentmengen. Die Tokenzahl von Ein- und Ausgaben bestimmt dann direkt die laufenden Kosten.
Sparen lässt sich mit kompakten Prompts, dem Weglassen unnötiger Textmengen und der Wahl eines passenden Modells — kleinere, günstigere Modelle reichen für einfache Aufgaben oft aus. Hersteller bieten Token-Zähler an, mit denen sich der Verbrauch eines Textes vorab abschätzen lässt.