Een trage website, een overbelaste server en een slechte indexering van Google: allemaal nare gevolgen van crawler traps die je zeker niet wilt hebben. In dit artikel leggen we je uit wat crawler traps zijn en hoe je ze tegengaat. Zeer belangrijk als je een goed presenteerde website wilt.
Wat zijn crawler traps?
Crawler traps zijn webpagina’s die zoekmachines zoals Google, bewust of onbewust in een oneindige lus laten terechtgekomen. Voor zo’n zoekmachine is dat heel frustrerend, want deze blijft vastzitten in een eindeloze reeks pagina’s met dezelfde informatie. Dat kan leiden tot prestatieproblemen. Om het nog beter aan je uit te leggen, vergelijken we de zoekmachine graag met een robot:
Stel je voor dat een zoekmachine een robot is, genaamd Alex. Alex gaat rond op het internet om informatie van websites te verzamelen, zodat mensen zoals wij die informatie makkelijk kunnen vinden in de toekomst. Alex gaat van link naar link om zoveel mogelijk pagina’s te ontdekken en te onthouden. In zijn zoektocht, komt Alex terecht in een doolhof. Hij komt vast te zitten in stukken van een website, omdat hij steeds dezelfde pagina blijft tegenkomen. Het is alsof hij steeds rondjes loopt en op dezelfde plek terechtkomt, in plaats van nieuwe plekken te ontdekken.
Waarom zijn crawler traps zo vervelend?
We waarschuwen regelmatig voor crawler traps vanwege de negatieve gevolgen. Je wilt je websitebezoekers, en misschien zelfs klanten, niet wegjagen omdat jouw website vaak uit de lucht, traag of zelfs niet vindbaar is. Dit zijn de gevolgen waar je last van kunt ervaren:
1. Een overbelaste server
Door crawler traps ontvangt de server constant aanvraag van dezelfde of onnodige pagina’s, waardoor de server overbelast raakt. Dit kan een website vertragen en in extreme gevallen zelfs tot downtime leiden.
2. Een slechte SEO-score
Belangrijke pagina’s worden niet door zoekmachines geïndexeerd, doordat crawlers vastlopen in de ‘trap’. Denk nog eens aan Alex in de doolhof. Je algehele SEO-score kan hieronder lijden. Een echte boosdoener dus, soms zonder dat je het doorhebt.
3. Blacklist
Soms bevat een website dusdanig veel crawler traps, dat een zoekmachine de site op een blacklist zet. Je site wordt dan als spam beschouwd en volledig uitgesloten van zoekmachines.
4. Slechte gebruikerservaring
Veel gebruikers raken al gefrustreerd als een pagina niet binnen 2 seconden is geladen. Crawler traps zorgen voor trage laadtijden en/of oneindige scrollopties. Dit kan leiden tot hoge bouncerates en een negatieve ervaring.
Hoe ontstaan crawler traps?
Crawler traps ontstaan op verschillende manieren. We noemen een aantal van de meest voorkomende oorzaken voor je op, zodat je hiermee aan de slag kunt.
1. Dynamische URL’s
Met dynamische URL’s kunnen er oneindig veel varianten ontstaan. Dit zijn vaak kleine variaties, bijvoorbeeld door filters in een webshop. Dan krijg je bijvoorbeeld:
/producten/categorie=broeken&kleur=blauw
/producten/categorie=broeken&kleur=blauw&sorteren=prijs
/producten/categorie=broeken&kleur=blauw&sorteren=naam
/producten/categorie=broeken&kleur=blauw&sorteren=collectie Je begrijpt ‘m inmiddels wel. Uiteindelijk zijn er zo’n duizenden combinaties die naar dezelfde pagina verwijzen. Toch worden al die pagina’s door een crawler als een aparte pagina gezien.
2. Oneindig scrollen
Sommige websites hebben kalenders of andere datumsystemen waarbij je eindeloos kunt doorscrollen. Denk aan evenementenoverzichten of foto-archieven. Dan krijg je het volgende effect:
/evenementen/agenda/2024/9
/evenementen/agenda/2024/10
/evenementen/agenda/2024/11
...
/evenementen/agenda/3024/12 Vaak gaan robots kijken op datums ver in de toekomst of ver in het verleden. Robot Alex raakt daarvan in de war. Niet best, dus.
3. Session ID’s in URL
Er worden wel eens session ID’s op websites gebruikt. Deze session ID’s worden aan een URL toegevoegd, zodat, zonder cookies, alle stappen van een gebruiker op een website worden bijgehouden. Zo kan een bezoeker worden herkend bij elke klik. Als je een webshop hebt, kun je op deze manier bijhouden of iemand iets in het winkelwagentje heeft gedaan, en je marketingmails daarop aanpassen. Klinkt dus heel handig, maar het is tegelijkertijd gevoelig voor crawler traps. Je hebt dan wederom vele URL’s, die allemaal naar dezelfde pagina leiden.
/webshop/kaarsen/sessionid=56788hdskf
/webshop/kaarsen/sessionid=bfhdh291
/webshop/kaarsen/sessionid=hd926djs 4. Incorrecte redirects
Het gebeurt wel eens dat een redirect niet goed wordt ingesteld, waardoor pagina A verwijst naar pagina B, en pagina B weer verwijst naar pagina A. Een beetje te vergelijken met als je vroeger iets aan je vader vroeg, en hij je dan naar je moeder stuurde. En je moeder dan weer ‘vraag maar aan pa’ zei. Robot Alex wordt dus van het kastje naar de muur gestuurd, en dat frustreert hem nog al.
5. Oneindige links.
Een onjuiste instelling in de code van links op de website kan ervoor zorgen dat Alex niet snapt dat het slechts om 1 pagina gaat. Door te linken naar contact in plaats van /contact denkt ons robotje dat de link continu kan worden gevolgd.
<a href="contact">Contact</a>
https://www.voorbeeld.nl/contact
https://www.voorbeeld.nl/contact/contact
https://www.voorbeeld.nl/contact/contact/contactHoe voorkom ik crawler traps?
Crawler traps voorkomen, kan lastig zijn. Gelukkig zijn er methodes en tools die je kunnen helpen.
1. Google Search Console
In Google Search Console heb je een optie om crawlstatistieken te bekijken. Zo kun je zien of Google vaak vastloopt bij het crawlen op jouw website. Als er veel zogeheten ‘crawl errors’ zijn, gaat er iets mis.
2. Plugins
Er zijn verschillende SEO-plugins die je helpen om crawler traps te voorkomen. Deze plugins helpen je op pagina’s met specifieke URL-parameters uit te sluiten van crawlen, zoals pagina’s met session ID’s of categorieënpagina’s. Voorbeelden van zulke plugins zijn Rank Math en Yoast. Met deze plugins kun je ervoor zorgen dat bepaalde delen van je website niet worden geïndexeerd.
3. Robots.txt en Noindex Tags
Een andere simpele manier om crawler traps tegen te gaan, is robots.txt-bestanden en noindex-tags. Met robots.txt kun je zoekmachines verzoeken om bepaalde pagina’s niet te crawlen, zoals zoekresultaatpagina’s met veel parameters. Met noindex of nofollow tags, laat je zoekmachines weten dat bepaalde pagina’s niet geïndexeerd moeten worden, of dat links op deze pagina’s niet gevolgd hoeven te worden.
Tot slot
Je weet nu wat crawler traps zijn en hoe je ze kunt tegengaan. Kom je er niet uit? Geen probleem! Het is ook ingewikkeld. Neem gerust contact op met support voor advies. We helpen je graag op weg.
