Robots.txt

De kleine file met grote invloed

Niet elke pagina op je site wil je per se terugzien in Google. Denk aan testpagina’s, interne zoekresultaten of dubbele versies van dezelfde content. Door via robots.txt aan te geven dat zoekmachines die pagina’s mogen overslaan, houd je de focus op de content die er wél toe doet.

Een bijkomend voordeel hiervan is dat zoekmachines minder nutteloze pagina’s hoeven te crawlen, waardoor ze sneller bij je belangrijke content uitkomen. Dat noemen we het besparen van je crawlbudget.

Aan de slag met robots.txt

Stel dat je een webshop hebt. Je wilt dat productpagina’s en categoriepagina’s worden geïndexeerd, maar niet de interne zoekresultaten of je admin-omgeving. In je robots.txt kun je dan regels opnemen die zoekmachines netjes weghouden van die delen van je site. Zo houd je controle over wat er zichtbaar wordt en wat niet.

Het verschil tussen verstoppen en verwijderen

Belangrijk om te weten: als je een pagina via robots.txt blokkeert, kan hij nog steeds in Google verschijnen als er elders naartoe gelinkt wordt. Alleen de inhoud wordt dan niet getoond. Wil je een pagina echt volledig uit de zoekresultaten halen, dan gebruik je beter een noindex-tag of verwijder je de pagina helemaal.

De onzichtbare SEO-helper

Hoewel robots.txt vaak wordt vergeten, kan het een groot verschil maken voor je SEO. Door de juiste pagina’s uit te sluiten, voorkom je dat zoekmachines afgeleid raken door irrelevante content. Dat maakt je site overzichtelijker en helpt je betere posities behalen.