Zoekmachines maken gebruik van software agents, ook wel robots of spiders genoemd. Dit zijn programma's die dag en nacht het internet afzoeken naar nieuwe websites of veranderingen aan websites. Als je site wordt herkend als iets nieuws, wordt deze toegevoegd aan de database van zo'n zoekmachine.

Doordat de zoekmachine-spiders de links op de pagina´s kunnen volgen komen ze weer uit op andere pagina´s waardoor zo het hele internet wordt afgezocht.

Met behulp van de 'robots' META tag geef je aan wat de robot van sommige zoekmachines mag doen zodra deze jouw site heeft gevonden. Mag hij jouw volledige site indexeren en alle links naar andere pagina's volgen? Of wil je liever niet dat een zoekmachine jouw site indexeert omdat deze bijvoorbeeld van persoonlijke aard is en niet gevonden hoeft te worden?

De links die wel of niet gevolgd mogen worden, kunnen links naar andere pagina's van jouw website zijn, maar ook links naar andere websites op het internet. Zoals gezegd werkt deze methode niet voor alle zoekmachines, maar het is toch een handige feature voor de zoekmachines die er wel mee werken.
De 'robots' META tag plaats je, net als alle andere META tags, tussen de en de tag van een HTML-document, zoals hieronder staat weergegeven:

Het attribuut content kan een aantal waarden bevatten. Hieronder volgt een opsomming van wat er mogelijk is:

Met content="index,follow" geef je aan dat de pagina waarop je 'robots' META tag is toegevoegd, geïndexeerd mag worden en de links naar andere pagina's gevolgd mogen worden. Een andere schrijfwijze is content="all", dat precies hetzelfde doet. Aangezien index en follow standaardwaarden zijn, hoef je de 'robots' META tag in principe niet toe te voegen als je deze combinatie wilt gebruiken. Dit is eigenlijk wat een robot zou doen als de 'robots' META tag niet was toegevoegd aan de betreffende pagina.

Met content="index,nofollow" geef je aan dat de pagina waarop je 'robots' META tag is toegevoegd, geïndexeerd mag worden, maar de links naar andere pagina's mogen niet gevolgd worden. Een verkorte schrijfwijze is content="nofollow", omdat index weer de standaardwaarde is.

Met content="noindex,follow" geef je aan dat de pagina waarop je 'robots' META tag is toegevoegd, niet geïndexeerd mag worden, maar de links naar andere pagina's mogen wel gevolgd worden. Een verkorte schrijfwijze is content="noindex", omdat follow weer de standaardwaarde is.

Met content="noindex,nofollow" geef je aan dat de pagina waarop je 'robots' META tag is toegevoegd, niet geïndexeerd mag worden EN de links naar andere pagina's mogen niet gevolgd worden. Een andere schrijfwijze is content="none", dat precies hetzelfde doet. De zoekmachine negeert dus deze pagina in zijn geheel.

Je kunt dus voor iedere pagina van je website aangeven of deze geïndexeerd mag worden of niet. Je gebruikt deze methode het beste als je pagina's niet wilt indexeren. Volgende keer gaan we kijken naar een aantal speciale META tags die je voor Google kunt gebruiken.