Zó bepaal je het gedrag van de Googlebot
Jeroen Hoekstra |
2006-09-05 |
Programmeren en techniek
In een vorig artikel heb je kunnen lezen dat je met behulp van de 'robots' META-tag aan kunt geven wat de robot van sommige zoekmachines mag doen zodra deze jouw site heeft gevonden. Mag hij jouw volledige site indexeren en alle links naar andere pagina's volgen? Of wil je liever niet dat een zoekmachine jouw site indexeert omdat deze bijvoorbeeld van persoonlijke aard is en niet gevonden hoeft te worden? We halen even één voorbeeld terug:
<html>
<head>
<meta name="robots" content="noindex,nofollow">
<meta name="description" content="Dit artikel gaat over
de robots META tag.">
<title>Robots META tag</title>
</head>
<body>
Met content="noindex,nofollow" geef je aan dat de pagina waarop je 'robots' META-tag is toegevoegd, niet geïndexeerd mag worden EN de links naar andere pagina's mogen niet gevolgd worden. Je kunt dit nu ook specifiek voor Google maken door name="robots" te vervangen door name="googlebot". Nu wordt de betreffende pagina niet geïndexeerd door de Googlebot en de links naar andere pagina's worden niet gevolgd. De andere robots-tags uit het vorig artikel kun je op dezelfde manier voor de googlebot gebruiken.
Nu heeft Google ook een aantal specifieke META-tags waarmee je kunt aangeven wat deze zoekmachine mag doen als deze jouw site heeft gevonden. De uitleg van deze META-tags vind je hieronder:
<meta name="googlebot" content="nosnippet">
Een 'snippet' is het stukje tekst dat Google weergeeft bij de zoekresultaten. In dit stukje tekst staan alle woorden waarop gezocht werd, vetgedrukt. In onderstaand voorbeeld hebben we gezocht op Alphamega en Hosting. Zoals je kunt zien staan deze woorden vetgedrukt in het tekstfragment onder het zoekresultaat.
Met content="nosnippet" geef je dus aan dat Google geen tekstfragmenten van jouw site mag tonen. Bedenk wel dat bij het gebruik van nosnippet de pagina ook uit de cache van Google verwijderd zal worden.
<meta name="googlebot" content="noarchive">
Met content="noarchive" geef je dus aan dat er geen pagina's mogen worden opgeslagen in de Google Cache. Als een website uit de lucht is of een pagina verdwenen is, dan kun je de informatie van deze pagina nog bekijken via deze cache (zie link 'In cache' in bovenstaand voorbeeld).
Als je nu niet wilt dat de informatie die vermeld staat op een pagina, in de cache wordt opgenomen, bijvoorbeeld omdat deze informatie sterk verouderd is, dan kun je dus gebruik maken van deze META-tag. Alle andere zoekmachines die de robots META-tag ondersteunen zullen jouw site nog wel kunnen archiveren.
Wil je ook deze zoekmachines weren, dan kun je gebruik maken van de onderstaande META-tag:
<meta name="robots" content="noarchive">
Het verdwijnen van jouw pagina uit de cache van Google kan wel enige tijd duren. Dit zal namelijk gebeuren op het moment dat de Googlebot weer een bezoekje komt brengen aan jouw site.
