Terug naar begrippenlijst
Transformer
In de wereld van AI is een transformer een type modelarchitectuur dat revolutionair bleek voor het verwerken van taal. Het is de basis waarop modellen als GPT, BERT en DALL·E zijn gebouwd. Waar eerdere AI-modellen moeite hadden met context, lange teksten of nuances, maakt de transformer het mogelijk om zinnen te begrijpen zoals mensen dat doen (inclusief verbanden over meerdere alinea’s). In plaats van tekst van begin tot eind door te lopen als een trein op rails, kijkt een transformer-model naar alle woorden tegelijk, en bepaalt zelf wat belangrijk is. Dit maakt het niet alleen krachtiger, maar ook sneller en flexibeler.
Inhoudsopgave
Van lineair naar laserfocus
Vroeger verwerkten AI-modellen tekst woord voor woord, alsof je door een rietje naar een verhaal kijkt. Transformers gooien dat overboord. Ze introduceerden een mechanisme dat attention heet. Hiermee leert het model om te focussen op de juiste woorden, ongeacht waar ze in de zin staan.
In een lange zin met bijzinnen, herhalingen en verwijzingen, weet een transformer alsnog precies welk woord waarnaar verwijst. Dat zorgt voor antwoorden die niet alleen grammaticaal kloppen, maar ook inhoudelijk sterk aanvoelen.
Zonder transformer, geen ChatGPT
Waarom zijn tools als ChatGPT, Google Translate of BERT zoveel beter dan hun voorgangers? Dankzij transformers. Deze architectuur maakte het mogelijk om modellen te trainen op gigantische hoeveelheden tekst, en toch de nuance te behouden. Transformers zijn daarmee dé motor geworden achter alles wat nu ‘generative AI’ heet: van tekstschrijven tot beeldgeneratie en zelfs coderen.
Slimmer, sneller, schaalbaarder
Transformers zijn niet alleen slimmer, maar ook schaalbaarder dan eerdere modellen. Je kunt ze relatief makkelijk uitbreiden met meer lagen of data, zonder dat ze compleet instorten onder de druk. Dat maakt ze ideaal voor grootschalige AI-systemen die snel moeten reageren, veel context moeten begrijpen en meerdere taken tegelijk aankunnen.
En het mooiste is dat de techniek via open source beschikbaar is, waardoor de hele AI-wereld ermee aan de slag kan. Het resultaat is een explosie aan innovaties die je vandaag overal terugziet.
Veelgestelde vragen
GPT is een taalmodel dat gebouwd is op de transformer-architectuur. GPT is dus een toepassing, transformer de onderliggende structuur.
Het helpt het model om te bepalen welke woorden in een zin (of alinea) belangrijk zijn voor de betekenis. Zo snapt het wat écht telt in een tekst.
Zeker. Inmiddels worden ze ook gebruikt voor beeld, audio, spraak en zelfs DNA-analyse.
Nee, er zijn ook kleinere, open source varianten waarmee developers en startups kunnen experimenteren.
Bo Pennings AI specialist
Gerelateerde begrippen
- AI-algoritmes
- AI-gegenereerde websites
- AI-model
- Augmented Intelligence
- Autonome AI
- Binary Search Tree (BST)
- Breadth-First Search (BFS)
- Chatbot
- Classificatie
- Claude
- Conversational AI
- DALL·E
- Deep Learning
- Deepfake
- DeepMind
- Edge AI
- Ethische AI
- Gemini
- Generatieve AI
- Generative Adversarial Network (GAN)
- Generative Pre-trained Transformer (GPT)
- Generator
- Hallucinatie
- Learning curve
