Das Robots-Meta-Tag ist eine HTML-Anweisung im Kopfbereich einer Webseite, mit der Website-Betreiber das Verhalten von Suchmaschinen-Crawlern auf Seitenebene steuern. Mit Werten wie noindex oder nofollow legt es fest, ob eine Seite in den Suchindex aufgenommen werden darf und ob Links auf der Seite verfolgt werden sollen. Es ist eines der wichtigsten Werkzeuge der Indexierungssteuerung.
Wie funktioniert das Robots-Meta-Tag?
Das Tag steht im HTML-Head einer Seite, etwa in der Form meta name=robots content=noindex,follow. Crawler wie der Googlebot lesen die Anweisung beim Abrufen der Seite und richten sich in der Regel danach. Die wichtigsten Werte: noindex (nicht in den Suchindex aufnehmen), nofollow (Links auf der Seite nicht verfolgen), index und follow (Standardverhalten, muss nicht angegeben werden) sowie Spezialwerte wie noarchive oder nosnippet.
Für Nicht-HTML-Dateien wie PDFs gibt es das Gegenstück X-Robots-Tag im HTTP-Header, das dieselben Anweisungen auf Serverebene übermittelt. Statt robots lässt sich auch ein bestimmter Crawler adressieren, etwa googlebot.
Robots-Meta-Tag und robots.txt — der entscheidende Unterschied
Die robots.txt verbietet das Crawlen von Bereichen, das Robots-Meta-Tag steuert die Indexierung. Das führt zu einer häufig missverstandenen Wechselwirkung: Ein per robots.txt gesperrter Bereich kann trotzdem im Index landen (etwa über externe Links), denn Google darf die Seite ja nicht abrufen — und sieht dadurch auch ein dort platziertes Noindex nicht.
Die Regel lautet daher: Soll eine Seite zuverlässig aus dem Index bleiben, muss sie crawlbar sein und ein Noindex tragen. Die Kombination aus robots.txt-Sperre und Noindex auf derselben Seite hebelt sich gegenseitig aus.
Typische Anwendungsfälle in der Praxis
Sinnvoll ist Noindex etwa für interne Suchergebnisseiten, Filter- und Parameterseiten, Danke-Seiten nach Formularabsendungen, Login-Bereiche, dünne Archivseiten oder Testumgebungen. Kanzleien setzen es zum Beispiel auf Danke-Seiten ein, damit diese nicht über Google erreichbar sind und das Conversion-Tracking verfälschen.
Vorsicht ist bei Systemwechseln und Relaunches geboten: Ein vergessenes Noindex aus der Entwicklungsumgebung gehört zu den häufigsten Ursachen für plötzliche Sichtbarkeitsverluste. Nach jedem Livegang sollte geprüft werden, ob wichtige Seiten indexierbar sind — etwa per URL-Prüfung in der Google Search Console.
Typische Fehler beim Robots-Meta-Tag
Häufige Fehler sind das versehentliche Noindex auf wichtigen Seiten (oft durch Plugin- oder Theme-Einstellungen), die Kombination von robots.txt-Sperre und Noindex, widersprüchliche Anweisungen zwischen Meta-Tag und X-Robots-Header sowie der Irrglaube, Noindex würde sofort wirken — die Entfernung aus dem Index erfolgt erst beim nächsten Crawl und kann Tage bis Wochen dauern.