Token

So funktioniert das

Sprachmodelle lesen Text nicht Buchstabe für Buchstabe, sondern in Tokens. Ein Token kann ein ganzes Wort, ein Wortteil oder ein Satzzeichen sein. Als Faustregel entspricht ein Token im Englischen etwa vier Zeichen. Deutsche Texte brauchen wegen langer zusammengesetzter Wörter oft mehr Tokens.

Beispiel aus der Praxis

Ein Dokument mit zehn Seiten besteht aus mehreren tausend Tokens. Schickst du es an ein Modell und lässt dir eine Zusammenfassung schreiben, zählen Eingabe und Antwort zusammen — für den Preis und für das Kontextfenster.

Das solltest du wissen

• Bei der Nutzung über eine API wird meist pro Token abgerechnet, getrennt für Eingabe und Ausgabe.
• Kurze, klare Anweisungen sparen Tokens, Zeit und Geld.
• Wie viele Tokens ein Text hat, hängt vom Modell ab. Die Anbieter stellen dafür Zählwerkzeuge bereit.