Generatore di robots.txt

Il robots.txt è un file di testo nella radice del tuo dominio che dice ai crawler dove non andare. È la prima cosa che un motore di ricerca scarica quando arriva sul tuo sito, prima di qualunque pagina. Non è una configurazione del server né un sistema di sicurezza: è un cartello, e vale finché chi passa decide di leggerlo. Google, Bing e i crawler delle AI serie lo rispettano; uno scraper scritto in un pomeriggio no.

La sintassi è minuscola. Un gruppo comincia con User-agent:, che dice a chi si sta parlando — * vuol dire «a tutti quelli che non hanno un gruppo tutto loro». Sotto ci vanno le righe Disallow: con i percorsi vietati, e volendo Allow: per riaprire un buco dentro una cartella chiusa. In fondo, la riga Sitemap: con l'indirizzo della mappa del sito.

Due regole che sorprendono quasi tutti. La prima: i percorsi valgono come «comincia per», quindi Disallow: /tag blocca anche /tagliere-di-salumi. La seconda: quando più gruppi potrebbero applicarsi, il crawler ne sceglie uno solo, quello con il nome più specifico, e ignora completamente gli altri. Se scrivi un gruppo per GPTBot, GPTBot smette di leggere le regole di *, comprese quelle che credevi valessero per tutti.

I crawler delle AI fanno due mestieri diversi e vanno decisi separatamente. Il primo gruppo raccoglie testo per addestrare un modello: legge oggi, il modello esce fra mesi, e a te non arriva nessuno. Ci stanno GPTBot, ClaudeBot, Google-Extended, CCBot, Applebot-Extended, meta-externalagent, Bytespider. Il secondo gruppo legge la pagina nel momento in cui una persona fa una domanda, e mette il tuo link sotto la risposta: OAI-SearchBot per ChatGPT, PerplexityBot, e ChatGPT-User quando qualcuno incolla il tuo indirizzo in chat.

Confonderli è l'errore che vediamo più spesso: si copia un blocco «anti-AI» trovato in giro, si incolla, e si esce dalle risposte con le fonti mentre l'addestramento continua indisturbato da altre strade. Se scrivi per farti trovare, la configurazione sensata è quasi sempre una sola: fuori chi addestra, dentro chi cita.

Due precisazioni che cambiano la decisione. Google-Extended non tocca la Ricerca: bloccarlo non ti toglie posizioni e non ti toglie dalle AI Overviews, che passano da Googlebot. E Applebot-Extended riguarda solo l'addestramento di Apple Intelligence: Siri e Spotlight continuano a trovarti. Se invece vivi di abbonamenti o di contenuti che nessun altro ha, chiudere tutto è una scelta legittima — solo, sappi che stai rinunciando anche alle visite.

Quasi sempre il danno è lo stesso: una riga blocca molto più di quello che doveva. Ecco cosa controlliamo sul file mentre lo costruisci.

• Il Disallow senza barra iniziale. Disallow: carrello non fa niente: viene saltato in silenzio, e tu credi di aver bloccato una cosa che è ancora aperta.
• Il file rimasto dal lancio. Disallow: / caricato durante lo sviluppo e mai tolto. È il motivo numero uno per cui un sito nuovo non entra in Google.
• CSS e JavaScript bloccati. Google carica i file di stile e gli script per vedere la pagina come la vedi tu. Se blocchi /wp-content/ o /assets/, la giudica su una versione rotta.
• La sitemap relativa. Sitemap: /sitemap.xml viene ignorata: quella riga vuole l'indirizzo intero, dominio compreso.
• Il file nel posto sbagliato. Vale solo nella radice del dominio, e vale solo per quel dominio: blog.iltuosito.it vuole il suo.

Dopo aver caricato il file, Search Console ha un rapporto dedicato che mostra la versione che Google ha davvero letto e quando l'ha letta: è l'unico modo di sapere se il tuo file è quello servito, o se un plugin ne sta generando un altro al posto suo.