Suchmaschinenoptimierung

robot.txt

Die robots.txt ist eine ausgelagerte Textdatei, die dem Crawler der Suchmaschine gezielte Anweisungen geben kann, so dass bestimmte Seiten oder Dateien bei der Indexierung von Suchmaschinen nicht berücksichtigt werden.



Bookmark and Share