Robots.txt

Robots.txt ist eine Textdatei, die Webmaster verwenden können, um Suchmaschinen zu steuern, welche Seiten ihrer Website indexieren sollen. Die Datei wird normalerweise im Stammverzeichnis einer Website abgelegt und enthält Anweisungen für Suchmaschinenbots, auch als „Webcrawler“ bekannt. Diese Bots durchsuchen das Internet nach neuen Websites und Seiten, um sie in ihren jeweiligen Indizes aufzunehmen. Die meisten Suchmaschinenbots lesen die Robots.txt-Datei einer Website, bevor sie diese durchsuchen. Die Datei enthält Anweisungen für die Bots, welche Seiten sie indexieren und welche nicht. Zum Beispiel könnte eine Robots.txt-Datei Anweisungen enthalten, die besagen, dass ein Bot keine Seiten im Stammverzeichnis indexieren soll, aber alle Seiten in einem Unterverzeichnis. Die Verwendung von Robots.txt ist keine Pflicht, aber es wird empfohlen, da es dir ermöglicht, bestimmte Bereiche deiner Website vor dem Indexieren zu schützen. Zum Beispiel möchtest du möglicherweise verhindern, dass Suchmaschinen deine Entwicklungs- oder Testseiten indexieren. Oder du möchtest möglicherweise verhindern, dass Suchmaschineneinträge für Dateien angezeigt werden, die du nicht öffentlich zugänglich machen möchtest, wie z.B. Bilder oder PDF-Dokumente.