In der Datei "robots.txt", die auf der Root des Webservers/Webspaces abgelegt wird, kann man definieren, inwiefern die Spider (Robots) der Suchmaschinen Dateien auf dem Webspace/Webserver indizieren (in den Index der Suchmaschine aufnehmen und  damit für Suchanfragen sichtbar) sollen. Möchte man, dass bestimmte Dateien von den Spidern ausgeschlossen werden,  z. B. weil sie nicht öffentlich sind oder Zugriffsstatistiken enthalten, so kann man das in der "robots.txt" festlegen. Falls alle Dateien gespidert werden dürfen, so lautet der zu hinterlegende Text:
User-agent:*
Disallow: 
Falls kein Spider die Dateien indizieren darf:
User-agent: *
Disallow: /
Falls nur bestimmte Dateien ausgeschlossen werden sollen, hier die Dateien "zähler.txt" und "statistik.php" → lautet die "robots.txt": 
User-agent: *
Disallow: zähler.txt
Disallow: statistik.php 
Falls beispielsweise die Spider von Google und MSN für das Verzeichnis /forum ausgeschlossen werden sollen, so sollte folgendes in der robots.txt stehen:
User-agent: Googlebot/2.1
User-agent: WebMoose
Disallow: /forum 
Es darf pro Domain nur eine "robots.txt" existieren.