Robots.txt

Was ist robots.txt?

Die Datei robots.txt ist ein Textdokument, das als Empfehlung für Suchmaschinen dient. Sie ermöglicht Website-Besitzern, zu steuern, welche Seiten und Bereiche ihrer Ressource von Suchrobotern indiziert werden können. Diese Datei wird im Stammverzeichnis der Website platziert und enthält Anweisungen, die entweder das Crawlen bestimmter Seiten erlauben oder verweigern können. Dies ist wichtig, um eine korrekte Indizierung und Optimierung der Website sicherzustellen und das Auftreten vertraulicher Informationen in den Suchergebnissen zu vermeiden.

Wozu dient robots.txt?

Das Hauptziel der Verwendung der Datei robots.txt besteht darin, den Suchmaschinen anzugeben, welche Seiten sie crawlen und welche sie ignorieren sollen. Wenn diese Regeln nicht angegeben werden, können Crawler die Website nach eigenem Ermessen indizieren, was zu unerwünschten Konsequenzen führen kann, wie z.B. die Indizierung von Dienstseiten oder dupliziertem Inhalt. Dies kann sich wiederum negativ auf die SEO-Optimierung und das Marketing der Ressource auswirken, da Suchmaschinen wichtige Seiten möglicherweise nicht erkennen.

Darüber hinaus hilft die Datei robots.txt, die Serverlast zu reduzieren, indem sie die Anzahl der Anfragen begrenzt, was sich ebenfalls positiv auf die Gesamtleistung der Website auswirkt. Obwohl die Datei nicht obligatorisch ist, empfehlen viele SEO-Spezialisten ihre Verwendung im Rahmen der internen und externen Optimierung.

Wie erstellt man robots.txt?

Die Erstellung der Datei robots.txt erfordert keine besonderen Fähigkeiten und kann mit jedem Texteditor durchgeführt werden, wie z.B. „Notepad“ in Windows oder TextEdit in macOS. Es ist jedoch wichtig, einige Formatierungsregeln zu beachten:

• Der Dateiname muss robots.txt sein;
• Die Datei muss im Textformat (txt) vorliegen;
• Die Codierung der Datei ist UTF-8.

Nach der Erstellung der leeren Datei kann diese auf die Website hochgeladen werden. Standardmäßig wird sie als zulassend betrachtet. Um die Indizierung zu steuern, müssen Regeln für bestimmte Seiten angegeben werden. In der Regel wird der Zugriff auf Seiten, die nicht für die Öffentlichkeit bestimmt sind, wie z.B. Anmeldeseiten, Admin-Panels und technische Verzeichnisse, gesperrt.

Direktiven in robots.txt

Die Direktiven in robots.txt sind Befehle, die den Suchrobotern angeben, wie sie mit der Website interagieren sollen. Jede Regelgruppe beginnt mit der Direktive User-agent, die angibt, an welchen spezifischen Roboter die folgenden Anweisungen gerichtet sind. Zum Beispiel:

User-agent: Googlebot

Nach der Direktive User-agent folgen Anweisungen, die die Direktiven Disallow und Allow enthalten können. Die Direktive Disallow wird verwendet, um die Indizierung bestimmter Seiten oder Verzeichnisse zu verbieten, während Allow die Indizierung erlaubt. Um die gesamte Website von der Indizierung auszuschließen, kann folgende Anweisung verwendet werden:

User-agent: *
Disallow: /

Sonderzeichen in robots.txt

In der Datei robots.txt können auch Sonderzeichen verwendet werden, die die Regeln für Suchroboter präzisieren:

• * — ein Zeichen, das die Indizierung der Seite unter der angegebenen Adresse verbietet;
• # — wird verwendet, um Kommentare hinzuzufügen, die von Robotern ignoriert werden;
• $ — wird am Ende der URL gesetzt, um die Wirkung des Sonderzeichens * aufzuheben.

Diese Zeichen helfen, die Datei genauer einzustellen, indem sie die Indizierung unerwünschter Seiten verhindern und wichtige Inhalte sichern.

Wie lädt man robots.txt hoch und überprüft es?

Nach der Erstellung muss die Datei robots.txt in das Stammverzeichnis der Website hochgeladen werden. Die Art des Hochladens hängt von der Architektur der Website und dem verwendeten Server ab. Nach dem Hochladen ist es wichtig, die Verfügbarkeit der Datei zu überprüfen, indem man in die Adresszeile folgendes Format eingibt:

https://ihre_website.com/robots.txt

Um die Funktionsfähigkeit der Datei zu überprüfen, können die Tools der Suchmaschinen verwendet werden, wie z.B. die Google Search Console für Google und die Yandex Webmaster für Yandex.

Typische Fehler bei der Konfiguration der robots.txt-Datei

Einige häufige Fehler bei der Konfiguration der Datei robots.txt können zu ihrer Nichtfunktion führen. Hier sind einige davon:

• Leere Direktive User-agent — keine Angabe, für welche Roboter die Regeln bestimmt sind;
• Fehlendes Zeichen / oder * am Anfang der Regeln Disallow oder Allow;
• Eintrag Disallow: / für eine aktive Website, was zu einer vollständigen Sperrung der Indizierung führt;
• Fehlendes Zeichen : zwischen der Direktive und der Regel, was sie für Roboter unverständlich macht.

Wie verstehen Suchmaschinen die robots.txt-Datei?

Suchmaschinen wie Google und Yandex können die Datei robots.txt unterschiedlich interpretieren. Yandex hält sich strikt an die Anweisungen, und wenn eine Seite durch die Direktive Disallow gesperrt ist, wird sie nicht gecrawlt. Google hingegen betrachtet die Direktive Disallow eher als Empfehlung denn als Verbot. Das bedeutet, dass zur Sicherung vertraulicher Seiten zusätzliche Methoden wie Passwörter oder die Direktive noindex empfohlen werden.