Wij gaan door tot jij 100% tevreden bent

De technische experts van onze bekroonde klantenservice staan voor je klaar!

Hoe voorkom ik dat zoekmachines mijn site indexeren?

Het is mogelijk om zoekmachines van je website te weren, om bijvoorbeeld dataverkeer te besparen. Opgemerkt moet worden dat onderstaande methode voor de meeste zoekmachines werkt, maar helaas niet voor alle.

robots.txt

De meeste zoekmachines kijken voor ze een website gaan indexeren of er een bestand genaamd robots.txt aanwezig is in de map public_html. Vervolgens kijken ze in dit bestand of de website geïndexeerd mag worden.

In het bestand neem je op voor welke bot een bepaalde regel of set regels geldt en welke regels gelden. Het eenvoudigst kun je dit bestand aanmaken met behulp van DirectAdmin.

Alle zoekmachines blokkeren

Om alle zoekmachines te blokkeren, plaats je het volgende in je robots.txt, die je dus in je public_html plaatst:

User-agent: *
Disallow: /

Inhoudelijk staat hier: „voor alle zoekmachines, blokkeer het pad /”. Dat houdt in dat alle paden die beginnen met een / geblokkeerd worden. En ieder pad op je site begint hiermee, dus je blokkeert nu alle zoekmachines.

Als je alleen wilt dat de map /voorbeeld/ wordt geblokkeerd, gebruik je het volgende:

User-agent: *
Disallow: /voorbeeld/

Let erop dat het blokkeren van een submap ook vanuit je public_html moet gebeuren.

Bepaalde zoekmachines blokkeren

Als je alleen een bepaalde zoekmachine, bijvoorbeeld Google (met user-agent 'Googlebot') wilt blokkeren:

User-agent: Googlebot
Disallow: /

Slechts bepaalde zoekmachine toestaan

Als je AdSense op je website hebt staan, dan wil je waarschijnlijk wel dat je advertenties relevante informatie weergeven. Als je echter alle zoekmachines blokkeert met *, dan zal dit niet meer mogelijk zijn. Je kunt dit als volgt oplossen:

User-agent: *
Disallow: /
(...)
User-agent: Mediapartners-Google
Allow: /

De laatste twee regels vertellen ons dat de zoekmachine van Google AdSense ('Mediapartners-Google') wel toegang heeft tot je hele website, terwijl de rest ('*') dat niet heeft. Op dezelfde manier kun je bijvoorbeeld ook alleen Google op je website toestaan.

 

Sterren Domeinnaam: 5 sterren uit 5.118 reviews

320.000+ domeinnamen geregistreerd.
Bij de beste registrars in MT1000 en Emerce 100.

Geen cookies