Der korrekte Syntax für die robots.txt Datei. Beispiele und Erklärungen.
Lesen Sie auch unsere kurze Erklärung der robots.txt Datei.
Eine Website komplett freischalten
User-agent: *
Disallow:
User-agent: \* bezeichnet alle Robots.
Disallow: ohne weitere Parameter gibt die gesamte Website frei.
Eine Website für alle Robots sperren
User-agent: *
Disallow: /
Mit dem / wird die gesamte Website gesperrt.
Eine Homepage und Bereiche nur für einige Robots sperren
User-agent: webzip
User-agent: webcopy
Disallow: /html/
User-agent: googlebot
Disallow: /images/
User-agent: *
Disallow: /
- Wird der Name eines Robots explizit genannt (z.B. googlebot), dann ignoriert dieser Robot alle anderen Anweisungen.
- webzip und webcopy könnten lediglich keine Dateien aus dem /html Verzeichnis herunterladen. Alles andere wäre offen.
- Für googlebot wäre nur das /images Verzeichnis gesperrt.
- Alle anderen (*) hätten keinen Zugriff auf diese Homepage.
Der / macht den Unterschied
Wichtig: Bitte beachten Sie, dass der / in den Anweisungen nicht nur zwischen alles verboten und alles erlaubt unterscheidet.
Lassen Sie den / nach einem Verzeichnisnamen weg, wird das wie folgt interpretiert:
User-agent: *
Disallow: /login
Hier ist der Zugriff auf alle Dateien und Verzeichnisse verboten, die mit ‘login’ beginnen. Also auf alle der folgenden Dateien:
http://www.meinedomain.de/login
http://www.meinedomain.de/login_intranet.php
http://www.meinedomain.de/login/willkommen.html
Sitemaps
Geben Sie die URL zu den Sitemaps auf Ihre Website auch in der robots.txt an:
Sitemap: http://www.meinedomain.de/sitemap.xml