Terug naar begrippenlijst
Perplexity
Perplexity is een cijfer dat aangeeft hoe goed een taalmodel weet welk woord er waarschijnlijk volgt in een zin. Hoe lager dat getal, hoe beter het model taal ‘snapt’. Klinkt abstract, maar in de praktijk is het een van de belangrijkste manieren om te meten hoe goed een AI-model zoals ChatGPT z’n werk doet.
Inhoudsopgave
Hoe ver zit het model ernaast?
Een taalmodel voorspelt steeds wat het volgende woord in een zin moet zijn. Bijvoorbeeld bij: “De kat zit op de…” Waarschijnlijk verwacht je hier ‘bank’ of ‘mat’, en minder snel ‘aardappel’. Perplexity kijkt naar hoe zeker het model is over die voorspelling. Als het model veel mogelijke woorden ‘overweegt’, is de perplexity hoog. Als het model vrij zeker weet wat het juiste woord is, is de perplexity laag.
Een lage perplexity-score betekent dus dat het model goed snapt hoe taal werkt. Een hoge score betekent dat het model juist twijfelt of de context niet helemaal snapt.
Lagere scores, betere output
Perplexity wordt vaak gebruikt om taalmodellen te trainen en met elkaar te vergelijken. Heeft Model A een perplexity van 25 en Model B een score van 10 op dezelfde dataset? Dan zit Model B er minder vaak naast en is het waarschijnlijk beter in het genereren van begrijpelijke en logische tekst.
Toch is een lage perplexity geen garantie voor mooie of creatieve output. Het zegt alleen iets over voorspelbaarheid en niet over stijl, nuance of originaliteit. Daarom wordt het meestal gebruikt in combinatie met andere metingen, zoals human evaluations of BLEU-scores.
Jij ziet ’t niet, maar je merkt het wel
Perplexity is vooral handig voor onderzoekers en ontwikkelaars die taalmodellen bouwen of verbeteren. Voor gewone gebruikers van AI-tools is het niet iets waar je dagelijks mee bezig bent. Je krijgt geen melding als de perplexity van een model daalt, maar je merkt het wél als de output duidelijker, logischer of natuurlijker wordt.
Het is dus een soort kwaliteitsmeter onder de motorkap die niet zichtbaar is, maar zeker wel invloed heeft.
Niet verwarren met… Perplexity.ai
Er bestaat ook een zoekmachine met AI-functionaliteit die ‘Perplexity’ heet. Die naam komt inderdaad van dit begrip, maar het zijn twee verschillende dingen. De ene is een tool voor gebruikers, de ander is een metric voor ontwikkelaars.
Veelgestelde vragen
Dat het model beter is in het voorspellen van het volgende woord in een zin en dus waarschijnlijk taal beter begrijpt.
In theorie wel, bijvoorbeeld als het model alleen supervoorspelbare zinnen maakt. Maar in de praktijk is lager meestal beter.
Perplexity meet puur hoe goed een model voorspellingen doet, niet hoe origineel of interessant die voorspellingen zijn.
Ja, vooral tijdens het trainen en vergelijken van modellen. Voor eindgebruikers wordt het meestal niet getoond.
Thijn de Haas Senior developer
Gerelateerde begrippen
- Abstraction
- AI-algoritmes
- Angular
- Big data
- Binary Search Tree
- Bitbucket
- CI/CD
- Claude
- Continuous Integration
- Data pipelines
- Data Readiness Check
- Dynamische routering
- Fatal error
- Generator
- Hashing
- Ontwerppatroon
- Polymorphism
- Server-side scripting
- Stable Diffusion
- Strict-Transport-Security
- Testautomatisering
- Try-catch
- Turingtest
- Widget
