Naar inhoudNieuwsbrief augustus 2003
Als het de afgelopen tijd verdacht druk op uw website. Zelfs ’s nachts of in de vroege ochtend kan het zijn dat de 'gasten' behoorden tot het domein van Inktomi. Dit is een zoekmachine, en de bezoekers zijn geen natuurlijke personen maar enkele zoekrobots van de zoekmachine.
Zoekrobots of 'bots' bezoeken een site en indexeren deze ten behoeve van een zoekmachine. Iedere zoekmachine heeft een eigen robot. Sommige zoekmachines, zoals Google, sturen meerdere robots in een keer naar een site. Dit om zo efficiënt mogelijk de index op te bouwen. Veel bezoeken van robots zijn nauwelijks merkbaar. Wat dat betreft is de robot van Inktomi de eerste die zijn aanwezigheid verraadt door zo lang op een site rond te hangen. In de (server)statistieken zijn de robots aan de volgende namen te herkennen (of varianten hierop):
U moet dan ook niet verbaasd staan kijken als dergelijke namen ook hoog staan in de lijst van de 'bezoekers' die het meeste verkeer op uw site genereren. Uiteindelijk is dat een positief teken, want dit betekent dat de zoekmachines regelmatig uw site indexeren. Omdat niet alles van een site geïndexeerd hoeft te worden, is het mogelijk om de robots te sturen. Dit doet u met behulp van een zogenaamd robots.txt bestand. In de regel respecteren de robots van grote zoekmachine de voorwaarden die in robots.txt staan. Logisch, want veelal beperken ze het zoekgebied van de robot waardoor deze sneller klaar kan zijn en irrelevante informatie buiten beschouwing laat.
Bron:
Inhoud:
