Wij gaan door tot jij 100% tevreden bent

De technische experts van onze bekroonde klantenservice staan voor je klaar!

Verschillen

Dit geeft de verschillen weer tussen de geselecteerde revisie en de huidige revisie van de pagina.

Link naar deze vergelijking

nl:webhosting:advanced:blockspider [12-09-2018 09:21]
127.0.0.1 Externe bewerking
nl:webhosting:advanced:blockspider [11-04-2019 11:13] (huidige)
Elmar Besselink
Regel 1: Regel 1:
 ====== Hoe voorkom ik dat zoekmachines mijn site indexeren? ====== ====== Hoe voorkom ik dat zoekmachines mijn site indexeren? ======
- 
- 
- 
 Het is mogelijk om zoekmachines van je website te weren, om bijvoorbeeld dataverkeer te besparen. Opgemerkt moet worden dat onderstaande methode voor de meeste zoekmachines werkt, maar helaas niet voor alle. Het is mogelijk om zoekmachines van je website te weren, om bijvoorbeeld dataverkeer te besparen. Opgemerkt moet worden dat onderstaande methode voor de meeste zoekmachines werkt, maar helaas niet voor alle.
- 
- 
- 
- 
  
 ===== robots.txt ===== ===== robots.txt =====
- 
- 
- 
- 
 De meeste zoekmachines kijken voor ze een website gaan indexeren of er een bestand genaamd robots.txt aanwezig is in de map public_html. Vervolgens kijken ze in dit bestand of de website geïndexeerd mag worden. De meeste zoekmachines kijken voor ze een website gaan indexeren of er een bestand genaamd robots.txt aanwezig is in de map public_html. Vervolgens kijken ze in dit bestand of de website geïndexeerd mag worden.
- 
- 
- 
  
 In het bestand neem je op voor welke bot een bepaalde regel of set regels geldt en welke regels gelden. Het eenvoudigst kun je dit bestand aanmaken met behulp van [[nl:webhosting:upload:directadmin|DirectAdmin]]. In het bestand neem je op voor welke bot een bepaalde regel of set regels geldt en welke regels gelden. Het eenvoudigst kun je dit bestand aanmaken met behulp van [[nl:webhosting:upload:directadmin|DirectAdmin]].
- 
- 
- 
- 
  
 ==== Alle zoekmachines blokkeren ==== ==== Alle zoekmachines blokkeren ====
- 
- 
- 
- 
 Om alle zoekmachines te blokkeren, plaats je het volgende in je robots.txt, die je dus in je public_html plaatst: Om alle zoekmachines te blokkeren, plaats je het volgende in je robots.txt, die je dus in je public_html plaatst:
- 
- 
  
 <code> <code>
Regel 38: Regel 14:
 Disallow: / Disallow: /
 </code> </code>
- 
- 
  
 Inhoudelijk staat hier: „voor alle zoekmachines, blokkeer het pad /”. Dat houdt in dat alle paden die beginnen met een / geblokkeerd worden. En ieder pad op je site begint hiermee, dus je blokkeert nu alle zoekmachines. Inhoudelijk staat hier: „voor alle zoekmachines, blokkeer het pad /”. Dat houdt in dat alle paden die beginnen met een / geblokkeerd worden. En ieder pad op je site begint hiermee, dus je blokkeert nu alle zoekmachines.
- 
- 
- 
  
 Als je alleen wilt dat de map /voorbeeld/ wordt geblokkeerd, gebruik je het volgende: Als je alleen wilt dat de map /voorbeeld/ wordt geblokkeerd, gebruik je het volgende:
- 
- 
  
 <code> <code>
Regel 54: Regel 23:
 Disallow: /voorbeeld/ Disallow: /voorbeeld/
 </code> </code>
- 
- 
  
 Let erop dat het blokkeren van een submap ook vanuit je public_html moet gebeuren. Let erop dat het blokkeren van een submap ook vanuit je public_html moet gebeuren.
- 
- 
- 
- 
  
 ==== Bepaalde zoekmachines blokkeren ==== ==== Bepaalde zoekmachines blokkeren ====
- 
- 
- 
- 
 Als je alleen een bepaalde zoekmachine, bijvoorbeeld Google (met user-agent 'Googlebot') wilt blokkeren: Als je alleen een bepaalde zoekmachine, bijvoorbeeld Google (met user-agent 'Googlebot') wilt blokkeren:
- 
- 
  
 <code> <code>
Regel 76: Regel 33:
 Disallow: / Disallow: /
 </code> </code>
- 
- 
- 
  
 ==== Slechts bepaalde zoekmachine toestaan ==== ==== Slechts bepaalde zoekmachine toestaan ====
- 
- 
- 
- 
 Als je AdSense op je website hebt staan, dan wil je waarschijnlijk wel dat je advertenties relevante informatie weergeven. Als je echter alle zoekmachines blokkeert met *, dan zal dit niet meer mogelijk zijn. Je kunt dit als volgt oplossen: Als je AdSense op je website hebt staan, dan wil je waarschijnlijk wel dat je advertenties relevante informatie weergeven. Als je echter alle zoekmachines blokkeert met *, dan zal dit niet meer mogelijk zijn. Je kunt dit als volgt oplossen:
- 
- 
  
 <code> <code>
Regel 96: Regel 44:
 Allow: / Allow: /
 </code> </code>
- 
- 
  
 De laatste twee regels vertellen ons dat de zoekmachine van Google AdSense ('Mediapartners-Google') wel toegang heeft tot je hele website, terwijl de rest ('*') dat niet heeft. Op dezelfde manier kun je bijvoorbeeld ook alleen Google op je website toestaan. De laatste twee regels vertellen ons dat de zoekmachine van Google AdSense ('Mediapartners-Google') wel toegang heeft tot je hele website, terwijl de rest ('*') dat niet heeft. Op dezelfde manier kun je bijvoorbeeld ook alleen Google op je website toestaan.
- 
- 
- 
- 
  
 <note ref> <note ref>
 **Externe links** **Externe links**
-    * [[http://www.google.com/support/webmasters/bin/answer.py?answer=40360&topic=8846|Google - Using a robots.txt file to control access to your site]] +  * [[http://www.robotstxt.org/db.html|Lijst van user-agents]] 
-    * [[http://www.robotstxt.org/db.html|Lijst van user-agents]] +  * [[https://support.google.com/webmasters/answer/6062608?topic=8846&visit_id=636905707880906055-3127854574&rd=1|Google - Using a robots.txt file to control access to your site]]
 </note> </note>
 

Sterren Domeinnaam: 5 sterren uit 4.254 reviews

320.000+ domeinnamen geregistreerd.
Winnaar beste registrar 2017 en 2018.

Geen cookies