Hyperparameters
Hyperparameters zijn de fundamentele configuratie-instellingen die de architectuur en het leergedrag van een Machine Learning-model aansturen. Je kunt ze het beste vergelijken met de knoppen op het dashboard van een complexe machine die je handmatig moet instellen voordat je de machine aanzet. In de wereld van kunstmatige intelligentie en data-analyse leert een algoritme zelfstandig van data, maar de manier waarop dat leren gebeurt, wordt volledig gedicteerd door deze vooraf ingestelde parameters. Ze vormen de spelregels waaraan het computermodel zich tijdens het gehele trainingsproces strikt moet houden.
Inhoudsopgave
Het cruciale verschil met interne parameters
Om het concept goed te begrijpen, is het essentieel om een scherp onderscheid te maken met normale, interne parameters. Interne parameters, zoals de gewichten in een neuraal netwerk, zijn de variabelen die het AI-model tijdens het trainen helemaal zelfstandig ontdekt, aanpast en optimaliseert op basis van de aangeboden data. Hyperparameters daarentegen kunnen niet door het model zelf tijdens het trainen worden aangepast. Ze staan als een onwrikbaar huis boven de data en moeten door de data-scientist of programmeur vooraf met de hand worden ingevoerd om het proces überhaupt in goede banen te leiden.
De delicate balans tussen snelheid en nauwkeurigheid
Een van de bekendste voorbeelden van zo’n externe instelling is de zogeheten learning rate, oftewel de leersnelheid. Deze parameter bepaalt hoe grote stappen het algoritme zet bij het verwerken van nieuwe informatie om tot een conclusie te komen. Als je deze knop te hoog zet, rent het model in een gigantisch tempo door de data heen, waardoor het de subtiele patronen en details volledig mist en een onnauwkeurig resultaat aflevert. Zet je de leersnelheid daarentegen te laag, dan leert het model weliswaar extreem grondig, maar kost het proces zoveel computerkracht en tijd dat de training onbetaalbaar of onpraktisch langdurig wordt.
De zoektocht naar de perfecte afstelling
Het vinden van de absolute droominstelling voor al deze knoppen is een van de grootste uitdagingen binnen de moderne data-wetenschap, een proces dat ook wel hyperparameter tuning wordt genoemd. Omdat er geen kant-en-klare handleiding bestaat die voor elke unieke dataset werkt, moeten specialisten vaak tientallen combinaties uitproberen om de prestaties te optimaliseren. Dit gebeurt vaak via geautomatiseerde systemen die systematisch honderden varianten testen. Een perfect afgesteld model zorgt ervoor dat de AI razendsnel en foutloos voorspellingen kan doen, of dat nu gaat om het herkennen van fraude met creditcards of het genereren van een vlijmscherpe marketingtekst.
Veelgestelde vragen
Wanneer de instellingen niet kloppen, presteert het AI-model dramatisch slecht. De computer kan dan te maken krijgen met overfitting, waarbij het model de trainingsdata zo extreem letterlijk uit zijn hoofd leert dat het vervolgens compleet faalt zodra het in de praktijk geconfronteerd wordt met nieuwe, onbekende situaties.
Wanneer de instellingen niet kloppen, presteert het AI-model dramatisch slecht. De computer kan dan te maken krijgen met overfitting, waarbij het model de trainingsdata zo extreem letterlijk uit zijn hoofd leert dat het vervolgens compleet faalt zodra het in de praktijk geconfronteerd wordt met nieuwe, onbekende situaties.
Ja, er is een sterk groeiende trend genaamd Automated Machine Learning (AutoML) waarbij een secundair algoritme wordt ingezet om de beste instellingen voor het hoofdmodel te berekenen. Hoewel deze automatische zoektocht veel tijd bespaart, vraagt het opstarten ervan nog altijd om een enorme hoeveelheid computerkracht.
Als eindgebruiker van een chatbot zie je deze instellingen meestal niet, maar aan de achterkant spelen ze een gigantische rol. Ontwikkelaars kunnen via de programmeeromgeving bijvoorbeeld de temperature aanpassen, een hyperparameter die bepaalt hoe creatief en onvoorspelbaar of juist hoe feitelijk en strak het taalmodel moet reageren.
Bo Pennings CEO & AI specialist
Gerelateerde begrippen
- AI-assistent
- API
- App
- Content Delivery Network
- Data governance
- Deepfake
- DeepMind
- Error handling
- Event Driven Language
- Functioneel ontwerp
- Generator
- Hallucinatie
- Integration testing
- Modeldrift
- OWASP Top 10
- Relational Database
- Search Generative Experience
- Sprint planning
- Structured data
- Symbolische AI
- User Acceptance Testing
- Vendor lock-in
- VS Code
- Webhooks
