Controllo di robots.txt e sitemap
robots.txt & Sitemap Checker
Scarica robots.txt e la sitemap, verifica se un URL è scansionabile e controlla il formato della sitemap.
Scarica il robots.txt e la sitemap di un sito, poi decide se un dato percorso è scansionabile — per ogni crawler, mostrando quale gruppo e quale regola hanno deciso. Risponde a «perché questa pagina non è indicizzata» proprio allo strato che blocca in silenzio tutto il resto.
Questa richiesta la fa il nostro server al posto tuo. Gli inviamo solo l’URL che hai scritto: nessuno dei tuoi cookie e nessuno stato di accesso parte insieme. Il server si collega soltanto a indirizzi pubblici e rifiuta quelli privati e interni.
Come si usa
Incollare l’URL della pagina, non il dominio
Quello che viene giudicato è il percorso. Il robots.txt viene scaricato automaticamente dall’host di quell’URL.
Leggere il verdetto per ogni crawler
Googlebot, Bingbot, i crawler delle IA e qualunque User-agent aggiunto sono giudicati ognuno per conto suo, perché il robots.txt li raggruppa separatamente. La regola che decide è mostrata con il suo numero di riga.
Controllare la sitemap insieme al resto
La sitemap viene scaricata dalla riga Sitemap:, oppure da /sitemap.xml se quella riga non c’è, e le sue voci e i suoi problemi vengono elencati. Una sitemap che risponde 404 è quello che Search Console segnala come non recuperabile.
Domande frequenti
Il robots.txt tiene una pagina fuori dai risultati di ricerca?
No: ferma la scansione, non l’inserimento nell’elenco. Un URL bloccato a cui altri siti puntano può comparire lo stesso, senza descrizione, perché al crawler è vietato leggere il noindex che gli è stato messo sopra. Per togliere una pagina bisogna permettere la scansione e servire un noindex.
Il mio robots.txt risponde 500: è un problema?
Eccome. Secondo l’RFC 9309 un 5xx vuol dire che il file non è disponibile, e un crawler tratta l’intero sito come vietato invece di pensare bene. Un errore del server su questo solo file può togliere un sito dalla ricerca per intero.
Due regole corrispondono al mio percorso: quale vince?
La corrispondenza più lunga, e a parità vince Allow (RFC 9309 §2.2.2). La tabella nomina la regola che ha deciso davvero, che di solito è la sorpresa.
I crawler lo rispettano davvero?
Quelli nominati sì. Il robots.txt è una convenzione, non un controllo di accesso: qualunque cosa lo ignori scaricherà la pagina comunque, quindi a un percorso che non deve essere pubblico serve un’autenticazione e non una riga Disallow.
Può ricevere da
Anteprima di un link condiviso
Link Preview Debugger
Legge i tag Open Graph e Twitter card di un URL e disegna come apparirà il link una volta condiviso.
Ricerca dei link rotti
Broken Link Checker
Estrae fino a 100 link da una pagina, o prende un elenco incollato, e li controlla in parallelo — stato, destinazione del redirect e tempo di risposta, prima con HEAD e poi con GET se viene rifiutato.
Interrogazione WHOIS
WHOIS Lookup
Mostra registrazione del dominio, registrar, name server e scadenza, più i dati RDAP dove esistono.
Lettore di QR e codici a barre
QR & Barcode Reader
Legge codici QR e i codici a barre più diffusi da un’immagine caricata, da una schermata o dalla fotocamera.
Dopo
Questi accettano ciò che produce questo strumento, così il risultato può passare direttamente.
Ispettore di intestazioni HTTP
HTTP Header Inspector
Richiede un URL e mostra tutte le intestazioni di risposta, la catena di redirect, i tempi e la compressione usata.
Ricerca dei link rotti
Broken Link Checker
Estrae fino a 100 link da una pagina, o prende un elenco incollato, e li controlla in parallelo — stato, destinazione del redirect e tempo di risposta, prima con HEAD e poi con GET se viene rifiutato.
Anteprima di un link condiviso
Link Preview Debugger
Legge i tag Open Graph e Twitter card di un URL e disegna come apparirà il link una volta condiviso.
Costruttore di richieste HTTP
HTTP Request Builder
Compone e invia una richiesta GET, POST, PUT, PATCH, DELETE o HEAD con intestazioni e corpo a piacere, e mostra stato, intestazioni, corpo e tempi — senza mai inoltrare i cookie né l’header Authorization.
Generatore di codici a barre
Barcode Generator
Genera codici a barre EAN-13, UPC, Code128, Code39 e ITF con la cifra di controllo e un’uscita pronta per la stampa.
Pulizia di un CSV
CSV Cleaner
Ripulisce gli spazi nelle celle, uniforma le intestazioni, sistema i formati di numeri e date e segnala le righe con il numero di colonne sbagliato.