Terug naar begrippenlijst
Crawlen
Crawlen is het proces waarbij zoekmachines zoals Google jouw website systematisch doorlopen om te begrijpen wat er op staat. Een soort digitale verkenningstocht, uitgevoerd door een zogenaamde crawler of bot. Die bot leest je pagina’s, volgt links en verzamelt informatie om te bepalen of (en hoe) je content in de zoekresultaten verschijnt. Als je wilt dat jouw website goed vindbaar is, moet je zorgen dat die netjes te crawlen is. Geen verborgen paadjes, kapotte bruggen of doolhoven, maar een duidelijke route die Google makkelijk kan volgen.
Inhoudsopgave
Geen bezoekers zonder verkenners
Je kunt nog zo’n mooie website hebben, maar als crawlers ‘m niet goed kunnen lezen, heb je een probleem. Dan komt je content simpelweg niet (goed) in de zoekresultaten. Crawlen is namelijk de eerste stap in het SEO-proces. Zonder crawling geen indexatie. En zonder indexatie? Geen zichtbaarheid.
Het is dus cruciaal dat zoekmachines je website goed kunnen ‘lezen’. Denk aan een logische structuur, werkende interne links en een sitemap die als een soort plattegrond dient. Maak het crawlen makkelijk, en je plukt er SEO-voordelen van.
Zo gaan crawlers te werk
Een crawler (ook wel spider of bot genoemd) begint meestal bij een bekende URL (zoals je homepage) en volgt vanaf daar alle links die hij tegenkomt. Net zolang tot hij klaar is, of zijn crawlbudget op is. Ja, ook crawlers hebben grenzen: Google besteedt per site een beperkte hoeveelheid tijd en middelen.
Hoe efficiënter jouw site te doorzoeken is, hoe meer pagina’s worden bekeken en meegenomen in de index. Heb je veel dubbele of irrelevante pagina’s? Dan verspil je kostbare crawlminuten aan content die je liever niet laat zien. Dat is natuurlijk zonde.
Geef crawlers een duwtje in de rug
Gelukkig kun je crawlers een handje helpen. Met een paar slimme technieken zorg je ervoor dat ze moeiteloos door je site bewegen, precies op de plekken waar jij ze wilt hebben. Denk aan het volgende:
- Een XML-sitemap: Een soort inhoudsopgave voor zoekmachines.
- Een robots.txt-bestand: Hiermee geef je aan wat wél en niet gecrawld mag worden.
- Heldere interne links: Zorg dat pagina’s goed bereikbaar zijn.
- Technisch schone code: Hoe minder rommel, hoe makkelijker te lezen.
- Geen dode links: Als een crawler vastloopt, haakt-ie sneller af.
Met deze toepassingen zorg je dat de waardevolle pagina’s op je site zo snel mogelijk op de radar van Google komen. Zo krijgen die nieuwe landingspagina, blog of productpagina direct een kans om te ranken.
Veelgestelde vragen
Gebruik tools zoals Google Search Console. Die laat zien welke pagina’s zijn gecrawld, welke fouten er zijn, en waar je verbeteringen kunt aanbrengen.
Dat is de hoeveelheid tijd en middelen die een zoekmachine aan jouw site wil besteden. Grote of trage sites kunnen hierdoor sneller tegen problemen aanlopen.
Ja, met een robots.txt-bestand of meta tags kun je bepaalde delen van je site uitsluiten van crawlen.
Nee. Crawlen is het ontdekken en lezen van je site. Indexeren is het daadwerkelijk opnemen van de pagina in de zoekresultaten. Geen crawl betekent ook geen index.
Niels Heijligers SEO specialist
