Zuletzt geprüft: Juli 2026 · Web & Technik
robots.txt
Die robots.txt ist eine Textdatei im Hauptverzeichnis der Website, die Crawlern mitteilt, welche Bereiche sie abrufen dürfen und welche nicht. Der Standard ist über 30 Jahre alt und rein kooperativ: Seriöse Bots halten sich daran, böswillige ignorieren ihn. Inzwischen steuert die Datei auch, welche KI-Crawler deine Inhalte einsammeln dürfen.
Warum dich das betrifft
Für die meisten Websites gilt: weniger ist mehr. Eine fehlerhafte robots.txt kann versehentlich die halbe Website aus Google aussperren, das passiert öfter, als man denkt, etwa wenn eine Testseiten-Sperre mit live geht. Prüfen lohnt sich: Die Datei ist unter deiner-domain.de/robots.txt für jeden einsehbar.
Neu ist die KI-Frage: GPTBot, ClaudeBot und andere respektieren die robots.txt, und du entscheidest damit, ob deine Inhalte in KI-Antworten auftauchen können. Meine Haltung für Selbstständige ist meist: Zulassen, denn wer in KI-Antworten nicht vorkommt, existiert für einen wachsenden Teil der Suchenden nicht. Aber es ist eine bewusste Entscheidung, keine Voreinstellung.
Was dazugehört und was nicht
Die robots.txt ist keine Zugangskontrolle: Was sie sperrt, ist trotzdem öffentlich abrufbar, nur eben nicht gecrawlt. Vertrauliches gehört hinter ein Login, nicht in eine Verbotszeile. Und sie ist nicht die llms.txt: Die eine regelt Zugriff, die andere liefert kuratierten Inhalt.
Was kostet das ehrlich?
Die Datei kostet nichts, ihre Prüfung wenige Minuten. Wertvoll ist die bewusste Entscheidung dahinter: Was sollen Suchmaschinen sehen, was KI-Crawler, was niemand. Das kläre ich in jedem Projekt mit, zusammen mit Sitemap und llms.txt als Gesamtpaket der Maschinen-Kommunikation.
So gehe ich das an: robots.txt, Sitemap und llms.txt stimme ich als Paket ab: Suchmaschinen und KI-Assistenten bekommen genau das Bild von dir, das du willst. Webdesign →
Quellen
- robotstxt.org — Der ursprüngliche Standard mit Syntax-Referenz.
- Google Search Central: Einführung in robots.txt — Wie Google die Datei interpretiert und welche Grenzen sie hat.