robots.txt

Bei der robots.txt handeltz es sich um eine einfache Textdatei, die im Root-Verzeichnis eines Webservers steht (auf der obersten Ebene, wo in der Regel auch die Startseite platziert ist). Diese Textdatei enthält Informationen für Suchmaschinen-Robots (CCrawler, Spider, Bots, etc.) über die Inhalte des Webspace, die von Suchmaschinen nicht besucht werden sollen. Weitere Infos dazu auch auf http://www.robotstxt.org/ .