Terug naar begrippenlijst
Contextvenster
Het contextvenster is de limiet van wat een AI-model op een specifiek moment kan ‘onthouden’. Vergelijk het met het kortetermijngeheugen van een mens of de grootte van een bureau waarop je documenten hebt liggen. Alles wat binnen dit venster valt, kan de AI meenemen in zijn analyse en antwoorden. Zodra een gesprek of een document langer wordt dan dit venster, begint de AI de oudste informatie aan het begin van de keten te ‘vergeten’ om ruimte te maken voor nieuwe input.
Inhoudsopgave
Geen gaten in de kaas
Stel je voor dat je een dik boek aan een AI voert en vraagt om een samenvatting. Als het contextvenster klein is, heeft de AI halverwege het boek de eerste hoofdstukken alweer uit het actieve geheugen gewist. Het resultaat? Een samenvatting met gaten als in een Zwitserse kaas. Een groot contextvenster zorgt er juist voor dat de AI de connectie tussen de introductie en de conclusie blijft zien. Dit is essentieel voor complexe taken zoals het analyseren van honderden pagina’s aan juridische documenten of het doorzoeken van een enorme codebase.
De valuta van het geheugen
De grootte van een contextvenster wordt meestal uitgedrukt in ‘tokens‘. Een token is niet precies één woord, maar eerder een lettergreep of een tekenreeks. Gemiddeld staan 1.000 tokens gelijk aan ongeveer 750 woorden. Moderne AI-modellen hebben vensters die variëren van een paar duizend tot wel meer dan een miljoen tokens. Hoe groter dit getal, hoe meer ‘bagage’ de AI kan meesjouwen tijdens de reis door jouw data, zonder dat hij onderweg iets belangrijks verliest.
De grens van de aandachtsspanne
Hoewel een gigantisch contextvenster fantastisch klinkt, zit er een addertje onder het gras: de ‘needle in a haystack’ (speld in een hooiberg) uitdaging. Hoe meer informatie je in het venster propt, hoe harder de AI moet werken om het juiste detail terug te vinden. Ontwikkelaars testen modellen daarom op hun vermogen om die ene specifieke zin uit het midden van een tekst van 100.000 woorden te vissen. Een groot venster is namelijk pas echt nuttig als de AI ook daadwerkelijk de volle aandacht kan geven aan elk deel van de inhoud.
Slim omgaan met de ruimte
In de praktijk hoef je niet altijd een reusachtig contextvenster te hebben om slimme resultaten te boeken. Door technieken als ‘RAG’ (Retrieval-Augmented Generation) te gebruiken, voer je de AI alleen de stukjes informatie die op dat moment relevant zijn. Zo houd je het contextvenster schoon en efficiënt. Toch blijft de race om het grootste venster in volle gang, omdat het de weg vrijmaakt voor AI die complete bibliotheken of uren aan videomateriaal in één keer kan begrijpen.
Veelgestelde vragen
Zodra je over de limiet gaat, treedt er ’truncation’ op. De AI verwijdert de oudste informatie uit het gesprek om plaats te maken voor je nieuwste vraag. Hierdoor kan de AI eerdere instructies of details vergeten die je aan het begin van de chat hebt gegeven.
Een contextvenster van 128.000 tokens staat gelijk aan ongeveer 96.000 woorden. Afhankelijk van de bladspiegel komt dit neer op zo’n 200 tot 300 pagina’s aan tekst die de AI in één keer kan ‘lezen’ en onthouden.
Nee. De trainingsdata is de enorme database waarop de AI is geleerd te praten en te redeneren. Het contextvenster is de specifieke informatie die je op dít moment in de chat aanlevert. Training is het langetermijngeheugen (algemene kennis), het contextvenster is het werkgeheugen (de huidige taak).
Ja, de ontwikkeling gaat razendsnel. Waar vroege versies van ChatGPT slechts zo’n 4.000 tokens aankonden, hebben modellen zoals Gemini 1.5 Pro nu al vensters van 1 tot 2 miljoen tokens, wat het mogelijk maakt om uren aan video of volledige softwareprojecten in de context te plaatsen.
Bo Pennings CEO & AI specialist
Gerelateerde begrippen
- AI-video
- Autonome AI
- Breadth-First Search
- Chatbot
- Conversational AI
- Edge AI
- Generator
- Google Veo
- Grok
- Jasper.ai
- Learning curve
- LLMOps
- Low-code AI
- Machine Learning Operations
- Microsoft Copilot
- No-code AI
- Proof-of-Concept
- Robot
- Robotic Process Automation
- Stable Diffusion
- Supervised Learning
- Text-to-Speech
- Trainingsdataset
- Transformer
