Die robots.txt ist eine Textdatei im Hauptverzeichnis einer Website, die Suchmaschinen-Crawlern mitteilt, welche Bereiche der Website sie abrufen dürfen und welche nicht. Sie ist die erste Datei, die seriöse Crawler wie der Googlebot beim Besuch einer Domain prüfen. Die robots.txt steuert das Crawling, verhindert aber nicht zuverlässig die Indexierung einzelner Seiten.
Wie funktioniert die robots.txt?
Die Datei liegt immer unter derselben Adresse: domain.de/robots.txt. Sie enthält Regeln aus zwei Grundbausteinen: User-agent benennt den Crawler, für den die Regel gilt (etwa Googlebot oder * für alle), Disallow und Allow definieren, welche Pfade gesperrt oder freigegeben sind. Zusätzlich wird dort häufig die XML-Sitemap verlinkt.
Seriöse Suchmaschinen halten sich an diese Regeln, verpflichtend ist das jedoch nicht. Bösartige Bots ignorieren die robots.txt schlicht. Sie ist deshalb ein Steuerungsinstrument für das Crawling, kein Sicherheitsmechanismus: Vertrauliche Inhalte gehören hinter einen Login, nicht in eine Disallow-Regel.
Warum ist die robots.txt wichtig?
Mit der robots.txt lässt sich das Crawl-Budget lenken: Suchmaschinen sollen ihre Zeit auf wichtige Inhalte verwenden statt auf interne Suchergebnisseiten, Filter-URLs oder Admin-Bereiche. Gerade bei großen Websites verhindert das, dass unwichtige URL-Varianten Ressourcen binden.
Fehler in dieser kleinen Datei haben große Wirkung: Ein versehentliches Disallow: / sperrt die komplette Website für Suchmaschinen. Das passiert in der Praxis erstaunlich oft, etwa wenn die Sperrregel einer Staging-Umgebung beim Livegang mit übernommen wird. Ein Ranking-Einbruch ist dann die Folge.
Typische Fehler bei der robots.txt
Der häufigste Irrtum: Eine per robots.txt gesperrte Seite verschwindet aus dem Google-Index. Das stimmt nicht. Google kann die URL weiterhin listen, wenn andere Seiten auf sie verlinken, dann allerdings ohne Beschreibung. Wer eine Seite zuverlässig aus dem Index halten will, nutzt stattdessen ein Noindex-Meta-Tag und darf die Seite gerade nicht per robots.txt sperren, da der Crawler das Tag sonst nie zu sehen bekommt.
Weitere klassische Fehler: gesperrte CSS- und JavaScript-Dateien, die Google am korrekten Rendern der Seite hindern, sowie Tippfehler in Pfadangaben. Die Google Search Console bietet Werkzeuge, um die Wirkung der robots.txt auf einzelne URLs zu prüfen.