robots.txt und Sitemap prüfen
robots.txt & Sitemap Checker
Ruft robots.txt und die Sitemap ab, testet, ob eine URL crawlbar ist, und validiert das Sitemap-Format.
Holt robots.txt und Sitemap einer Site und entscheidet, ob ein bestimmter Pfad gecrawlt werden darf – pro Crawler, mit Angabe, welche Gruppe und welche Regel entschieden hat. Es beantwortet „warum ist diese Seite nicht indexiert“ auf der einen Ebene, die alles andere stillschweigend blockiert.
Unser Server stellt diese Anfrage für Sie. An ihn geht nur die URL, die Sie eingegeben haben – weder Ihre Cookies noch Ihr Anmeldestatus gehen mit. Der Server verbindet sich ausschließlich mit öffentlichen Adressen und verweigert private und interne.
So funktioniert es
Fügen Sie die Seiten-URL ein, nicht die Domain
Der Pfad ist das, was beurteilt wird. robots.txt wird automatisch vom Host dieser URL geholt.
Lesen Sie das Urteil pro Crawler
Googlebot, Bingbot, die KI-Crawler und jeder User-agent, den Sie hinzufügen, werden getrennt beurteilt, weil robots.txt sie getrennt gruppiert. Die entscheidende Regel wird mit ihrer Zeilennummer angezeigt.
Prüfen Sie die Sitemap daneben
Die Sitemap wird aus der Sitemap:-Zeile geholt, oder aus /sitemap.xml, wenn es keine gibt, und ihre Einträge und Probleme werden aufgelistet. Eine Sitemap, die 404 liefert, ist das, was die Search Console als nicht abrufbar meldet.
Häufige Fragen
Hält robots.txt eine Seite aus den Suchergebnissen heraus?
Nein – es stoppt das Crawlen, nicht die Auflistung. Eine blockierte URL, auf die andere Sites verlinken, kann trotzdem erscheinen, ohne Beschreibung, weil dem Crawler verboten ist, das noindex zu lesen, das Sie darauf gesetzt haben. Um eine Seite zu entfernen, erlauben Sie das Crawlen und liefern noindex aus.
Meine robots.txt liefert einen 500 – spielt das eine Rolle?
Eine große. Nach RFC 9309 bedeutet ein 5xx, die Datei sei nicht verfügbar, und ein Crawler behandelt die ganze Site als verboten, statt das Beste anzunehmen. Ein Serverfehler bei dieser einen Datei kann eine Site ganz aus der Suche nehmen.
Zwei Regeln treffen auf meinen Pfad zu – welche gewinnt?
Die längste Übereinstimmung, und bei Gleichstand gewinnt Allow (RFC 9309 §2.2.2). Die Tabelle nennt die Regel, die tatsächlich entschieden hat, und das ist meist die Überraschung.
Halten sich Crawler wirklich daran?
Die namentlich bekannten schon. robots.txt ist eine Konvention, keine Zugriffskontrolle – alles, was sie ignoriert, holt die Seite trotzdem, ein Pfad, der nicht öffentlich sein darf, braucht also Authentifizierung und keine Disallow-Zeile.
Eingabe aus
Link-Vorschau debuggen
Link Preview Debugger
Liest Open-Graph- und Twitter-Card-Tags einer URL und rendert, wie der Link beim Teilen aussehen wird.
Defekte Links prüfen
Broken Link Checker
Zieht bis zu 100 Links aus einer Seite oder nimmt eine eingefügte Liste und prüft jeden parallel – Status, Redirect-Ziel und Antwortzeit, erst HEAD, dann GET, wenn abgelehnt.
WHOIS-Abfrage
WHOIS Lookup
Zeigt Domainregistrierung, Registrar, Nameserver und Ablaufdatum sowie RDAP-Daten, wo es sie gibt.
QR- und Barcode-Leser
QR & Barcode Reader
Liest QR-Codes und gängige Barcodes aus einem Bild, einem Screenshot oder von der Kamera – ohne Upload, komplett im Browser.
Danach
Diese Tools nehmen an, was dieses hier erzeugt, das Ergebnis kann also direkt weiter.
HTTP-Header prüfen
HTTP Header Inspector
Ruft eine URL ab und zeigt die vollständigen Antwort-Header, die Redirect-Kette, Zeiten und die verwendete Kompression.
Defekte Links prüfen
Broken Link Checker
Zieht bis zu 100 Links aus einer Seite oder nimmt eine eingefügte Liste und prüft jeden parallel – Status, Redirect-Ziel und Antwortzeit, erst HEAD, dann GET, wenn abgelehnt.
Link-Vorschau debuggen
Link Preview Debugger
Liest Open-Graph- und Twitter-Card-Tags einer URL und rendert, wie der Link beim Teilen aussehen wird.
HTTP-Anfragen erstellen und senden
HTTP Request Builder
Verfasst und sendet eine GET/POST/PUT/PATCH/DELETE/HEAD-Anfrage mit eigenen Headern und Body und zeigt Status, Header, Body und Zeiten – ohne je Cookies oder Authorization weiterzureichen.
Barcode-Generator
Barcode Generator
Erzeugt EAN-13-, UPC-, Code128-, Code39- und ITF-Barcodes mit Prüfziffer und druckfertiger Ausgabe.
CSV bereinigen
CSV Cleaner
Trimmt Zellen, normalisiert Kopfzeilen, korrigiert Zahlen- und Datumsformate und meldet Zeilen mit falscher Spaltenzahl.