robots.txt - Beispiele

16.05 2007
seo
0

Der korrekte Syntax für die robots.txt Datei. Beispiele und Erklärungen.

Lesen Sie auch unsere kurze Erklärung der robots.txt Datei.

Eine Website komplett freischalten

User-agent: *
Disallow:

User-agent: \* bezeichnet alle Robots.

Disallow: ohne weitere Parameter gibt die gesamte Website frei.

Eine Website für alle Robots sperren

User-agent: *
Disallow: /

Mit dem / wird die gesamte Website gesperrt.

Eine Homepage und Bereiche nur für einige Robots sperren

User-agent: webzip
User-agent: webcopy
Disallow: /html/
User-agent: googlebot
Disallow: /images/
User-agent: *
Disallow: /
  • Wird der Name eines Robots explizit genannt (z.B. googlebot), dann ignoriert dieser Robot alle anderen Anweisungen.
  • webzip und webcopy könnten lediglich keine Dateien aus dem /html Verzeichnis herunterladen. Alles andere wäre offen.
  • Für googlebot wäre nur das /images Verzeichnis gesperrt.
  • Alle anderen (*) hätten keinen Zugriff auf diese Homepage.

Der / macht den Unterschied

Wichtig: Bitte beachten Sie, dass der / in den Anweisungen nicht nur zwischen alles verboten und alles erlaubt unterscheidet.

Lassen Sie den / nach einem Verzeichnisnamen weg, wird das wie folgt interpretiert:

User-agent: *
Disallow: /login

Hier ist der Zugriff auf alle Dateien und Verzeichnisse verboten, die mit ‘login’ beginnen. Also auf alle der folgenden Dateien:

http://www.meinedomain.de/login
http://www.meinedomain.de/login_intranet.php
http://www.meinedomain.de/login/willkommen.html

Sitemaps

Geben Sie die URL zu den Sitemaps auf Ihre Website auch in der robots.txt an:

Sitemap: http://www.meinedomain.de/sitemap.xml 

Folgen Sie WebMart auf Twitter, um automatisch über Neuigkeiten in diesem Blog informiert zu werden.


Kommentare