Was ist eine robots.txt-Datei:

1. Die robots.txt-Datei (durchgehend in Kleinbuchstaben) ist eine Textdatei, die im Stammverzeichnis einer Website gespeichert wird. Sie teilt Suchmaschinen-Crawlern in der Regel mit, welche Inhalte dieser Website indexiert werden dürfen und welche nicht.

2. Der Dateiname „robots.txt“ muss einheitlich in Kleinbuchstaben geschrieben werden. Die Datei „robots.txt“ sollte im Stammverzeichnis der Website abgelegt werden.

3. Wenn Sie das Verhalten von Suchmaschinen-Crawlern beim Zugriff auf Unterverzeichnisse individuell festlegen möchten, können Sie die benutzerdefinierten Einstellungen in die robots.txt-Datei im Stammverzeichnis integrieren.

4. Das robots.txt-Protokoll ist kein Standard, sondern lediglich eine gängige Konvention, sodass es keinen Schutz der Privatsphäre der Website garantiert.

5. Beachten Sie, dass robots.txt anhand von Zeichenfolgenvergleichen entscheidet, ob eine URL indiziert wird. Daher stellen URLs mit und ohne Schrägstrich „/“ am Ende des Verzeichnisses unterschiedliche URLs dar

Inhalt der robots.txt-Datei

1. Zugänglichkeit bzw. Crawlbarkeit für Suchmaschinen-Crawler

2. Die Zugänglichkeit von Verzeichnissen oder Dateien für Suchmaschinen-Crawler

3. Definition des Pfads zur Sitemap der Website

4. Zeitliche Beschränkungen für das Crawling durch Suchmaschinen-Crawler

Informationen zum robots.txt-Generator

1. Geben Sie die zu konfigurierenden Daten über die Weboberfläche ein und klicken Sie auf „Generieren“, um den Inhalt der robots.txt-Datei zu erstellen

2. Erstellen Sie eine leere Textdatei mit dem Namen „robots.txt“ und kopieren Sie den oben angezeigten Inhalt hinein

3. Speichern Sie die Datei „robots.txt“ im Stammverzeichnis Ihrer Website. Rufen Sie die Datei auf, um sicherzustellen, dass sie für Suchmaschinen-Crawler zugänglich ist