Controllo del robots.txt

Il robots.txt è un file di testo nella radice del dominio che dice ai crawler quali indirizzi possono scaricare. Vive sempre in un punto solo, https://tuodominio.it/robots.txt: non in una sottocartella, non nel pannello del CMS, non nella head della pagina. È la prima cosa che un motore chiede al tuo server, prima ancora della homepage.

Il malinteso più diffuso riguarda l'indicizzazione. Bloccare una URL nel robots.txt non la tiene fuori da Google: le impedisce di essere letta. Se qualcun altro la linka, Google può mostrarla lo stesso nei risultati — senza titolo, senza descrizione, con la nota «nessuna informazione disponibile». Per tenere una pagina fuori dall'indice serve il contrario: lasciarla leggere e metterci dentro un meta robots noindex. Se la blocchi, quel noindex non lo vedrà mai nessuno.

E non è nemmeno una serratura. Il robots.txt è pubblico, lo legge chiunque, e viene rispettato solo dai crawler che decidono di rispettarlo. I motori seri lo fanno, gli scraper aggressivi no. Se in quel file elenchi «Disallow: /area-clienti», hai appena pubblicato l'indirizzo che volevi nascondere. Quello che va protetto davvero si protegge con una password.

Vince la regola con il percorso più lungo, e a parità di lunghezza vince Allow. È la regola che applicano Google e Bing, ed è il motivo per cui l'ordine delle righe nel file non conta niente: puoi scrivere l'Allow prima o dopo il Disallow, il risultato è identico.

Un esempio concreto. Con Disallow: /wp-admin/ e Allow: /wp-admin/admin-ajax.php, la seconda riga è più lunga della prima, quindi quel singolo file passa mentre tutto il resto della cartella resta bloccato. Al contrario, se hai Disallow: /blog e Allow: /blog, sono lunghi uguale: passa. Il conto si fa sui caratteri del percorso scritto, non su quanto è specifico il significato.

Prima ancora, però, il crawler deve scegliere il gruppo. Ogni bot cerca un gruppo con il proprio nome e, se lo trova, legge solo quello: le regole di User-agent: * vengono ignorate in blocco. È l'errore che si vede più spesso — un gruppo dedicato a Googlebot scritto per aggiungere un divieto, che invece cancella tutti i divieti generali. Se un bot compare in due gruppi diversi, invece, le regole vengono unite, non sostituite.

I crawler AI non fanno tutti la stessa cosa, e metterli nello stesso Disallow è la scelta che costa di più. Da una parte ci sono quelli che raccolgono testi per addestrare i modelli — GPTBot, Google-Extended, CCBot, Applebot-Extended, meta-externalagent: bloccarli è una decisione legittima e non ti toglie una visita. Dall'altra ci sono quelli che leggono la tua pagina per rispondere a una domanda in quel momento, e mettono il link alla fonte: OAI-SearchBot e ChatGPT-User per ChatGPT, PerplexityBot e PerplexityUser per Perplexity.

Sui secondi il conto è semplice: se li blocchi, quando qualcuno chiede a ChatGPT il problema che tu risolvi, la risposta cita il tuo concorrente. Non è un'ipotesi lontana — è già il modo in cui una parte delle persone cerca informazioni prima di comprare. La copia protetta non serve a niente se nessuno arriva a leggerla.

Due precisazioni che valgono soldi. Google-Extended non c'entra niente con la ricerca Google: riguarda solo Gemini, e bloccarlo non toglie una pagina dall'indice. Applebot-Extended esclude dall'addestramento di Apple Intelligence ma lascia il sito in Siri e Spotlight. Chi le confonde e blocca troppo si taglia fuori da traffico vero, credendo di proteggersi.