Crawlbudget verbeteren
Het verbeteren van je crawlbudget is belangrijk. Waarom? Een goed werkende website heeft niet alleen invloed op de gebruikerservaring, het kost de zoekmachine ook nog eens geld. Hoe meer fouten jij op je website hebt staan hoe langer een zoekmachine bezig is om jouw website volledig te begrijpen. Het crawlen duurt langer en tijd is geld.
Hieronder lees je precies hoe jij crawlfouten op je website kan identificeren. Eerst leg ik uit hoe je zelf een crawler (ScreamingFrog) kunt downloaden. Deze werkt bijna hetzelfde als die van de zoekmachine en geeft je overzichtelijk weer waar jouw website fouten bevat. Daarna gaan we deze fouten oplossen.
Spring snel naar:
#1 Installeren van Screaming Frog
Screaming Frog is een SEO spider. Je voert de URL in van je website en de spider doet zijn werk. Deze tool gaat alle URL’s bij langs die het kan vinden. Je kan Screaming Frog hier gratis downloaden.
De gratis versie kan tot 500 URL’s crawlen en de betaalde versie kost maar €10,- per maand. Hulp nodig bij de installatie? Volg dit artikel voor een vlekkeloze installatie.
#2 Crawlfouten verwijderen
Een zoekmachine “crawlt” de pagina’s op jouw website. Crawlen is het doorzoeken van een spider (de robot) van zoekmachines. De zoekmachine haalt hiermee de data op die te vinden is op jouw website.
De zoekmachine doet dit om te bepalen waar jouw website over gaat. Wanneer de zoekmachine weet waar deze over gaat kan jouw website geïndexeerd worden.
Zoals elke robot volgt ook de robot van de zoekmachine instructies op. Mochten de instructies op jouw website niet kloppen of herkent de crawler onderdelen van jouw webpagina niet dan spreken wij over crawlfouten.
De belangrijkste crawlfouten zijn de bekende 4XX pagina’s. Hierbij verwijs je op je website naar een niet bestaande pagina. Een 404 pagina is hier een voorbeeld van.
Naast de 4XX pagina’s heb je ook 3XX pagina’s ook wel redirects genoemd. Hierbij geef je aan dat pagina 1 niet meer relevant is en dat pagina 2 hiervoor in de plaats komt.
Waarom wil je dit oplossen? Het heeft met 2 factoren te maken. Het crawlbudget van de zoekmachine en de gebruikerservaring van de websitebezoeker.
#3 Crawlbudget
Een crawlbudget is het budget dat zoekmachine nodig heeft om jouw website te crawlen. Crawlen betekent eigenlijk bekijken op ophalen. Hoe minder foutieve en onbelangrijke pagina’s een website heeft hoe goedkoper het crawlbudget is.
Door je website te ontdoen van fouten wordt dus het crawlbudget voor jouw website lager. Dit vind een zoekmachine prettig aangezien het ze anders extra geld kost. Wanneer het geld kost om nutteloze pagina’s te crawlen zal dit effect hebben op de rankings van je andere, waardevolle, pagina’s.
Gebruikerservaring
Naast het crawlbudget wil je dat de bezoeker van jouw website een geweldige ervaring heeft bij een bezoek aan jouw website. Het verwijderen van fouten en het laten zien van waardevolle pagina’s heeft gelijk een effect op deze gebruikers ervaring.
Vinden en oplossen van crawlfouten
Om de crawlfouten te vinden ga je naar screamingfrog. Hier vul je in de rode balk de URL van jouw website.
Vervolgens druk je op start en zie je dat screamingfrog de ingevulde URL gaat scannen. Dit kan even duren. De gratis versie van Screamingfrog gaat crawlt tot 500 urls.
Tip: Ga bovenin naar configuratie 🡪 Spider
En vink alle recource links uit (rood geaceerd). Dit scheelt heel veel URLS die screamingfrog gaat scannen. Doe dit wel voordat je gaat scannen, tijdens een scan kan je dit niet meer aanpassen.
Wanneer deze scan klaar zoek je in het overzicht naar de “Response Codes”. Hier zie je Redirection, Client errors en Server errors staan. We hebben de crawlfouten gevonden. Nu gaan wij ze oplossen.
Stap 2.1 Verwijderen Redirects
Een zoekmachine vindt redirects vervelend. De zoekmachine moet namelijk beide pagina’s bekijken. Dit komt eigenlijk bij alle website wel een keer voor. Een redirect is namelijk een omleiding. Stel dat je in het verleden een pagina had met url : www.test.nl/abc en dit is geworden www.test.nl/abcd/ dan is dat een redirect.
Dit kun je gemakkelijk oplossen door op je website niet meer naar www.test.nl/abc te verwijzen maar rechtstreeks naar www.test.nl/abcd/.
Doe dit voor alle redirects die je kan vinden op jouw website.
Stap 2.2 Verwijderen van client errors
Het komt ook voor dat je verwijst met een intern linkje naar een pagina die niet meer bestaat. Dit noemen ze een client error en staat ook wel bekend als een 404 pagina. De zoekmachine vindt het niet leuk als je verwijst naar een niet bestaande pagina. Je kan, net zoals bij de redirect, deze verwijzing op je pagina weghalen.
Nadat je deze twee fouten uit je website hebt gehaald heb je al een groot gedeelte van je crawlbudget verbeterd.
Natuurlijk zijn hier nog veel meer aspecten die je meetbaar kan maken. Ga de belangrijkste taken eens meten en zoek het verband met de verkoop. Hoeveel telefoontjes heb je bijvoorbeeld nodig om een product of dienst te verkopen wanneer je aan koude aquisitie doet?
Zoek verbanden en wanneer je deze vindt verhoog de impact van deze activiteiten. Je zult zien dat je winst heel snel toeneemt wanneer jij je op de juiste onderdelen focust.
