Wat is crawlen? 

Hoe crawlen werkt

Crawlers worden ook wel spiders genoemd, omdat je het kan zien alsof ze naar alle pagina's ‘kruipen’. Op basis van deze info indexeren ze de pagina's die ze hebben gecrawld. Het doel van crawlen is dus om de inhoud van website te begrijpen en ze te indexeren, zodat de zoekmachine de gebruikers van relevante en actuele content kan voorzien. 

Het robots.txt bestand is hierbij leidend. Door middel van dit bestand communiceer je met de crawlers. In dit bestand geef je het aan als er bepaalde pagina's niet gecrawld hoeven te worden. Hiermee voorkom je dat er onnodige pagina's gecrawld worden. Te veel onnodige pagina's laten crawlen kan namelijk ten koste gaan van je crawlbudget. Een crawlbudget is het aantal pagina's dat de bots van zoekmachines crawlt in een bepaald tijdsbestek. Aan elke website wordt een crawlbudget toegekend. Dit wordt gedaan op basis van hoeveel de website zelf kan verwerken en hoeveel de pagina's waard zijn, gebaseerd op hoe populair de pagina is. Overschrijd je het budget? Dan stopt de bot met crawlen, waardoor de kans bestaat dat Google niet al je pagina's zal indexeren. Maar geen stress, een crawlbudget is alleen belangrijk bij: 

• Websites met duizenden pagina's. Vaak gaat dit over e-commerce webshops met duizenden productpagina's. 
• Website met veel redirects. Wanneer er veel redirects op de website te vinden is, kan het heel snel gaan met je budget. 
• Wanneer er op korte termijn veel nieuwe pagina's online zijn gezet, zoals een nieuwe categorie producten met tientallen tot honderden nieuwe pagina's. 

Waarom is crawlen belangrijk? 

Crawlen is zeer belangrijk. Word je website niet gecrawld? Dan kan deze ook niet geïndexeerd worden en in de zoekresultaten van zoekmachines terechtkomen. 

Kun je crawlen beïnvloeden? 

Crawlen kun je beïnvloeden door ervoor te zorgen dat je website voldoet aan de richtlijnen van de zoekmachine. Dit doe je door middel van de 3 belangrijkste pijlers: content, autoriteit en techniek. Voldoet je website aan de richtlijnen op basis van deze pijlers? Dan is de kans groot dat je website gecrawld wordt en vervolgens geïndexeerd. Het is echter niet mogelijk om het crawlen te manipuleren. De crawlers van zoekmachines zijn de laatste jaren veel slimmer geworden. Waar ze eerst nog op basis van metadata de pagina's crawlden, kunnen ze nu zelf de hele pagina inzien en beoordelen.  

Wil je beter vindbaar worden in de zoekresultaten in Google? We helpen je graag!  

Contact opnemen