robot.txt

Die robots.txt ist eine ausgelagerte Textdatei, die dem Crawler der Suchmaschine gezielte Anweisungen geben kann, so dass bestimmte Seiten oder Dateien bei der Indexierung von Suchmaschinen nicht berücksichtigt werden.