Die robots.txt Datei gehört in das Root-Verzeichnis eines Webservers. Auf dieser Website wäre sie also unter http://blog.webmart.de/robots.txt zu finden.
Sie dient dazu, Suchmaschinen den Zugriff auf bestimmte Bereiche einer Website zu verbieten.
Wenn ein Robot (so nennt man das Programm einer Suchmaschine, welches eine Seite liest und in den Index aufnimmt) eine Homepage besucht, fragt er i.d.R. als erstes die robots.txt Datei ab und wertet diese aus.
Je nach Inhalt der robots.txt Datei verhält sich der Robot und liest bestimmte Inhalte einer Homepage nicht aus.
Alles klar? Hier ist ein Beispiel?
Nehmen wir an, die Homepage einer Firma enthält verschiedene Bereiche. Natürlich einige Produktseiten, aber auch Seiten auf denen die Mitarbeiter mit Namen und Bild vorgestellt werden.
Es ist natürlich wünschenswert, wenn die Produkte in Suchmaschinen erscheinen. Die Mitarbeiter und speziell deren Bilder sollten aber möglichst in keinen Index aufgenommen werden.
Dazu kann man in der robots.txt Datei die Ordner in denen die HTML Seiten mit den Mitarbeitern, sowie die Ordner mit den Bildern der Mitarbeiter ausschliessen. Das könnte dann so aussehen:
User-agent: *
Disallow: /mitarbeiter/
Disallow: /images/mitarbeiter/
Diese drei Zeilen verbieten (englisch: disallow) dem Robot einer Suchmaschine den Zugriff auf die genannten Verzeichnisse.
Die robots.txt Datei ist kein sicherer Zugriffsschutz
Auch wenn die robots.txt von den meisten Suchmaschinen und Offline-Readern beachtet wird, so ist sie natürlich kein sicherer Zugriffsschutz. Dateien, die in der robots.txt genannt werden, sind nach wie vor abrufbar.
Die robots.txt hilft nicht bei der Aufnahme in eine Suchmaschine
Da mit der robots.txt lediglich Seiten vom indexieren ausgeschlossen werden, kann sie das indexieren einer Seite nicht beschleunigen. Speziell bei grösseren Websites kann man jedoch unwichtige Bereiche ausschliessen und so womöglich das indexieren wichtiger Bereiche beschleunigen.
Beachten Sie unsere ausführlichen Beispiele für die Robots.txt.