Was ist Robot.txt?

Es handelt sich dabei um eine Datei, die auf einem Server abgelagert wird, auf die die Suchmaschine zugreifen kann um gezielte Anweisungen zu bekommen, wie die Webseite aus Suchmaschinensicht behandelt werden soll. In der Regel wird diese Datei als erstes von einer Suchmaschine besucht, um die Anweisungen zu erkennen. Ob und wie sie dann umgesetzt werden, entscheidet die Suchmaschine in der Regel selbst.