Vorige keer heeft René het een en ander uitgelegd over Google Page Rank en Link Popularity. Daaruit blijkt dat de hoeveelheid links naar jouw site die anderen op hun site hebben staan van groot belang is voor de plaats die jouw site bij Google inneemt.

Als de hoeveelheid links toeneemt op een manier waar anderen geen last van hebben, is dat geweldig. Helaas zijn er ook mensen die over de rug van anderen proberen hun site populairder te maken door kunstmatig links naar hun site te creëren. Een voorbeeld hiervan is Referer Spam. Hieraan hebben we al reeds enkele artikelen gewijd. Een nieuwe vorm van spam die tegenwoordig erg populair is, is Gastenboek-spam. Ook erg vervelend, maar er is iets tegen te doen. Hieronder behandel ik twee manieren om dit tegen te gaan.

1. Verplaatsen
Het is mogelijk om je hele gastenboek op een andere locatie van je site te zetten en op de pagina waar je gastenboek eerst stond een bericht te plaatsen dat het gastenboek verplaatst is naar een nieuwe locatie, http://www.jouwdomeinnaam.com/nieuwelocatie. Nu zou je je oude gastenboek kunnen laten staan maar het beste zou zijn om dit natuurlijk helemaal te verwijderen als je je dit kunt veroorloven. Over het algemeen zijn het namelijk zoekbots die sites bezoeken en als je je gastenboek op een andere locatie zet heb je hier geen last meer van, tenzij ze je nieuwe gastenboek toch weer vinden.

2. Robots.txt
De tweede manier, die effectiever is, is om een robots.txt-bestand in de root-map van je site te plaatsen. Je maakt in je html-editor, bijvoorbeeld Context of Kladblok, een pagina aan. Voer in deze pagina één "user-agent:" en één of meer "disallow:" regels in. De user-agent: is om aan te geven welke spider van de zoekbot je wilt toelaten. Je kunt hier bijvoorbeeld "googlebot" invullen en dan mag de spider van Google je site wel indexeren maar andere niet. Het is ook mogelijk om hiervoor een "*" in te vullen, wat alle spiders toegang geeft om je site te indexeren.

Een paar voorbeelden:

Hier mag de zoekbot van Google de site wel indexeren en anderen niet, maar mag de Googlebot niet de directory vakantie indexeren.

User-agent: googlebot
disallow:/vakantie/

Hier mogen alle zoekbot (spiders) je site bezoeken maar niks indexeren.

User-agent: *
disallow:/

Hier mogen alle zoekbots je site indexeren, alleen niet de mappen gastenboek en forum en ook niet page3.html

User-agent: *
disallow:/gastenboek/
disallow:/forum/
disallow:/page3.html

Bron: http://www.robotstxt.org