Terug naar begrippenlijst
Token
Een token is een klein stukje tekst dat een AI-model gebruikt om taal te verwerken en begrijpen. Dat kan een woord, een deel van een woord, of zelfs een leesteken zijn. In plaats van volledige zinnen te analyseren zoals mensen dat doen, breekt een AI-model alles op in tokens. Dit zijn de bouwstenen waarmee het rekent, leert en voorspelt wat er volgt. Als jij een vraag stelt aan een taalmodel, dan ziet het jouw tekst niet als één geheel, maar als een reeks van misschien wel honderden tokens. Elke voorspelling, elke zin, elk antwoord: het begint en eindigt met tokens.
Inhoudsopgave
Van tekst naar taallego
Je kunt tokens zien als de legosteentjes van taal. Sommige zijn groot (zoals hele woorden), andere zijn klein (zoals stukjes van woorden). Een model als ChatGPT voorspelt telkens wat het volgende token zou moeten zijn, op basis van de context van de voorgaande.
Die simpele eenheid van één token is alles waar het model op stuurt. Zo wordt zelfs een complexe alinea een ketting van keuzes: één token tegelijk en razendsnel verwerkt.
Hoeveel ‘taalruimte’ heb je eigenlijk?
Tokens bepalen letterlijk wat het model wel en niet “ziet”. Elk AI-model heeft een maximum aantal tokens dat het tegelijk kan verwerken (de zogenaamde context window). Stel: dat is 4.000 tokens. Dan moet het volledige gesprek – inclusief jouw prompt én het gegenereerde antwoord – binnen dat aantal passen.
Hoe slimmer je met tokens omgaat, hoe efficiënter je het model inzet. Het helpt bij promptdesign, samenvattingen, contextbeheer en outputbeheersing.
Niet verwarren met crypto-tokens
Belangrijk onderscheid: een token in AI is totaal iets anders dan een token in de cryptowereld. In AI gaat het om tekstverwerking; in crypto om digitale eigendom of toegang. Zelfde woord, compleet ander concept. Dus als iemand roept “dit kost 1.000 tokens”, weet dan of je in gesprek bent met een developer of een cryptofanaat. Dat scheelt een hele wereld aan context.
Veelgestelde vragen
Gemiddeld zijn er zo’n 3 tot 4 tokens per woord in het Engels. Een zin van 20 woorden kan dus makkelijk uit 70 tokens bestaan.
Dan moet het model oude context afkappen of verkorten. Je verliest dan mogelijk informatie uit eerdere delen van het gesprek of de prompt.
Ja. Een komma, punt of haakje telt meestal als een eigen token.
Ja. Meer tokens betekent zwaardere belasting voor het model (en hogere kosten als je werkt met een API). Korter en duidelijker schrijven loont dus.
Bo Pennings CEO & AI specialist
Gerelateerde begrippen
- AI-algoritmes
- AI-model
- Binary Search Tree
- Breadth-First Search
- Conversational AI
- Data Readiness Check
- Deep Learning
- Edge AI
- Generative Adversarial Network
- Generative Pre-trained Transformer
- Generator
- Learning curve
- Machine Learning bias
- No-code AI
- OpenAI
- Prompt
- Prompt engineering
- Reinforcement Learning
- Sora
- Trainingsdataset
- Transformer
- Turingtest
- Unsupervised Learning
- Validatie
