Das Robots-Meta-Tag ist eine HTML-Anweisung im Kopfbereich einer Webseite, mit der Website-Betreiber das Verhalten von Suchmaschinen-Crawlern auf Seitenebene steuern. Mit Werten wie noindex oder nofollow legt es fest, ob eine Seite in den Suchindex aufgenommen werden darf und ob Links auf der Seite verfolgt werden sollen. Es ist eines der wichtigsten Werkzeuge der Indexierungssteuerung.
Was ist das Robots-Meta-Tag?
Das Robots-Meta-Tag ist eine HTML-Anweisung im Kopfbereich einer Webseite, mit der Betreiber das Verhalten von Suchmaschinen-Crawlern auf Ebene einzelner Seiten steuern. Es ist ein spezielles Meta-Element und gehört zu den wichtigsten Werkzeugen der Indexierungssteuerung. Mit Werten wie noindex oder nofollow legt es fest, ob eine Seite in den Suchindex aufgenommen werden darf und ob den Links auf der Seite gefolgt werden soll.
Anders als die zentrale robots.txt wirkt das Tag punktgenau pro Seite. Google dokumentiert die unterstützten Werte im offiziellen Leitfaden zum Robots-Meta-Tag; eine deutschsprachige Aufbereitung bietet das Ryte-Wiki zum Robots-Meta-Tag.
Das Tag richtet sich an Suchmaschinen, nicht an Besucher: Für den menschlichen Nutzer ändert sich nichts, die Seite bleibt normal erreichbar. Es ist damit ein reines Steuerungssignal für Maschinen und eines der wenigen Mittel, mit denen sich die Aufnahme einer Seite in den Index verlässlich unterbinden lässt.
Wie funktioniert das Robots-Meta-Tag?
Das Tag steht im HTML-Head, etwa in der Form meta name=robots content=noindex,follow. Ein Crawler wie der Googlebot liest die Anweisung beim Abruf der Seite und richtet sich in aller Regel danach. Die wichtigsten Werte sind noindex (nicht in den Index aufnehmen), nofollow (den Links auf der Seite nicht folgen), index und follow (das Standardverhalten, das nicht angegeben werden muss) sowie Spezialwerte wie noarchive oder nosnippet.
Für Nicht-HTML-Dateien wie PDFs gibt es das Gegenstück X-Robots-Tag, das dieselben Anweisungen über den HTTP-Header auf Serverebene übermittelt. Statt der allgemeinen Kennung robots lässt sich auch ein bestimmter Crawler adressieren, etwa googlebot. So können unterschiedliche Suchmaschinen unterschiedlich behandelt werden. Die Anweisung greift allerdings nur, wenn der Crawler die Seite auch abrufen darf — hier liegt der entscheidende Zusammenhang mit der robots.txt.
Zusätzlich zu den bekannten Werten gibt es feinere Steuerungen wie max-snippet, max-image-preview oder unavailable_after, mit denen sich die Darstellung in der Suche oder ein automatisches Ablaufdatum festlegen lässt. Diese Werte sind selten nötig, können bei speziellen Anforderungen — etwa zeitlich befristeten Inhalten — aber sehr nützlich sein.
Robots-Meta-Tag und robots.txt — der entscheidende Unterschied
Die robots.txt verbietet das Crawlen von Bereichen, das Robots-Meta-Tag steuert die Indexierung. Das führt zu einer häufig missverstandenen Wechselwirkung: Ein per robots.txt gesperrter Bereich kann trotzdem im Index landen, etwa über externe Links — denn Google darf die Seite nicht abrufen und sieht dadurch auch ein dort platziertes noindex nicht.
Die Regel lautet daher: Soll eine Seite zuverlässig aus dem Index bleiben, muss sie crawlbar sein und ein noindex tragen. Erst wenn die Seite deindexiert ist, kann man sie zusätzlich per robots.txt sperren. Wer beides gleichzeitig setzt, erreicht das Gegenteil des Gewünschten. Google beschreibt dieses Zusammenspiel im Leitfaden zum Blockieren der Indexierung.
Diese Unterscheidung ist für Einsteiger die häufigste Stolperfalle, weil beide Werkzeuge auf den ersten Blick dasselbe zu tun scheinen. Merksatz: robots.txt regelt den Zutritt zur Seite, das Robots-Meta-Tag regelt, was mit der Seite nach dem Zutritt geschieht. Erst wer beides trennt, steuert Crawling und Indexierung sauber.
Warum ist das Robots-Meta-Tag wichtig?
Nicht jede Seite gehört in den Index. Interne Suchergebnisseiten, Dünn-Inhalte, Danke-Seiten nach einem Formular, Filter- und Sortiervarianten oder Druckansichten blähen den Index auf und können als Duplicate Content wirken. Das noindex hält solche Seiten gezielt draußen, ohne sie für Nutzer zu entfernen.
Gleichzeitig schont eine kluge Indexierungssteuerung das Crawl-Budget: Google verschwendet keine Ressourcen auf Seiten, die ohnehin nicht ranken sollen, und konzentriert sich auf die wichtigen. Damit ist das Robots-Meta-Tag ein zentrales Instrument des technischen SEO und der Indexierbarkeit einer Website.
Ein aufgeräumter Index wirkt sich auch auf die wahrgenommene Qualität aus: Findet Google zu viele belanglose Seiten einer Domain, kann das die Einschätzung der Gesamtqualität dämpfen. Wer den Index bewusst auf die wertvollen Seiten beschränkt, sendet ein klareres Signal darüber, worum es auf der Website eigentlich geht.
Robots-Meta-Tag in der Praxis
In der Praxis lohnt ein systematischer Blick: Welche Seitentypen sollen ranken, welche nicht? Aus dieser Landkarte ergibt sich, wo noindex sinnvoll ist. Content-Management-Systeme und SEO-Plugins setzen das Tag meist bequem per Einstellung, oft mit sinnvollen Voreinstellungen für Archiv- und Suchseiten.
Die Umsetzung sollte anschließend kontrolliert werden — über die Seitenprüfung in der Google Search Console, die den tatsächlich gelesenen Indexierungsstatus anzeigt. Zu beachten ist außerdem die Abgrenzung zum Canonical-Tag: Der Canonical bündelt Signale mehrerer ähnlicher Seiten auf eine bevorzugte URL, entfernt aber nichts aus dem Index. Noindex und Canonical lösen verschiedene Probleme und sollten nicht verwechselt werden.
Bei umfangreichen Änderungen empfiehlt sich ein stufenweises Vorgehen mit Kontrolle nach jedem Schritt. Wer auf einen Schlag Tausende Seiten auf noindex setzt, sollte den Effekt auf Indexabdeckung und Traffic eng beobachten, um im Fall eines Fehlers schnell gegensteuern zu können.
Typische Fehler beim Robots-Meta-Tag
Der teuerste Fehler ist ein versehentliches noindex auf wichtigen Seiten — etwa ein aus der Entwicklungsumgebung übernommenes noindex, das nach dem Livegang eine ganze Website aus dem Index wirft. Solche Fehler bleiben oft wochenlang unentdeckt, bis der Traffic einbricht. Regelmäßige Kontrollen und Alarme sind deshalb Pflicht.
Ebenso verbreitet ist die eingangs beschriebene Kombination aus robots.txt-Sperre und noindex, die verhindert, dass das noindex überhaupt gelesen wird. Auch widersprüchliche Signale — noindex im Tag, aber Aufnahme in die XML-Sitemap und interne Verlinkung — senden gemischte Botschaften an Google.
Sauber ist, wer Crawlbarkeit, Indexierungsanweisung, Sitemap und interne Links konsistent aufeinander abstimmt und dabei den korrekten HTTP-Statuscode im Blick behält. Eine per noindex ausgeschlossene Seite sollte weiterhin einen Status 200 liefern, damit Google das noindex überhaupt lesen kann — ein 404 oder eine Weiterleitung würden das Signal wieder aushebeln.
Unterm Strich ist das Robots-Meta-Tag ein kleines, aber folgenreiches Werkzeug: Ein einziges falsch gesetztes noindex kann eine ganze Website unsichtbar machen, ein klug gesetztes hält den Index sauber und die wichtigen Seiten sichtbar. Wer die Unterscheidung zwischen Crawlen und Indexieren verinnerlicht hat und die eigenen Anweisungen regelmäßig kontrolliert, nutzt eines der wirksamsten Instrumente der technischen Suchmaschinenoptimierung sicher und gezielt. In der Praxis lohnt es sich, das Setzen und Prüfen von Indexierungsanweisungen fest in die Abläufe einzubauen — etwa als Checkliste beim Livegang neuer Seiten und als wiederkehrende Kontrolle im Rahmen regelmäßiger technischer Audits. So werden aus einem unscheinbaren Meta-Tag verlässliche Leitplanken, die dafür sorgen, dass in der Suche genau die Seiten erscheinen, die auch erscheinen sollen — und keine, die dort nur Ballast wären. Der Aufwand dafür ist gering, der Schaden bei Nachlässigkeit dagegen groß; kaum ein anderes Detail der technischen Optimierung hat ein derart ungünstiges Verhältnis zwischen minimalem Pflegeaufwand und maximalem Risiko im Fehlerfall.