Token
KI-Glossar
Die kleinste Verarbeitungseinheit eines Sprachmodells, oft etwa ein halbes Wort, manchmal ein Satzzeichen oder eine Silbe.
Kurzdefinition
Ein Token ist die Texteinheit, die ein Sprachmodell intern verarbeitet. Ein deutsches Wort entspricht meist zwei bis vier Tokens, abhängig von Modell und Sprache.
Einfach erklärt
Sprachmodelle lesen Text nicht zeichenweise und nicht reine Wörter, sondern in Tokens. Ein Modell zerlegt Ihren Text vorab in solche Tokens, verarbeitet sie und gibt am Ende wieder Tokens aus, die zu Wörtern zusammengesetzt werden.
Für den Berufsalltag ist Token vor allem in zwei Punkten relevant: Erstens werden Kontextfenster in Tokens gemessen, nicht in Wörtern oder Zeichen. Zweitens werden bei API-Nutzung Kosten meist pro Token abgerechnet, sowohl für die Eingabe als auch die Antwort.
Beispiel aus dem Arbeitsalltag
Eine Entwicklungsabteilung baut einen internen KI-Assistenten auf API-Basis. Beim Tarifvergleich der Anbieter rechnet sie aus, wie viele Tokens pro Anfrage typisch anfallen und wie viele Anfragen pro Monat zu erwarten sind. So entsteht eine realistische Kostenschätzung.
Warum ist der Begriff wichtig?
Wer KI-Kosten oder Kontext-Grenzen verstehen will, kommt am Token nicht vorbei. Er ist die Maßeinheit, in der KI-Anbieter rechnen.
Für Unternehmen mit eigenem KI-Einsatz lohnt eine grobe Token-Schätzung, bevor produktiv geschaltet wird. Sonst überraschen Kosten oder Limit-Probleme im laufenden Betrieb.
Chancen
- Saubere Kalkulation von API-Kosten möglich
- Bessere Einschätzung, was in ein Kontextfenster passen
- Optimierung von Prompts auf weniger Tokens spart Geld
- Vergleich verschiedener Modelle wird messbar
Risiken und typische Fehler
- Token-Zählungen weichen zwischen Modellen ab
- Lange Konversationen sammeln Kosten unbemerkt an
- Komplexe Sonderzeichen oder Sprachen brauchen mehr Tokens
- Token-Limits sind harte Grenzen, nicht weiche Hinweise
Verwandte Begriffe
Passende Inhalte im KI College
Lernen Sie Schritt für Schritt, wie Sie KI im Arbeitsalltag sinnvoll nutzen.
Use CasesKI im Arbeitsalltag anwenden
Entdecken Sie praktische Beispiele für typische Aufgaben im Beruf.
ToolsKI-Tools im Überblick
Finden Sie heraus, welche Tools zu welchen Aufgaben passen.