Far entrare i crawler delle AI

C'è una categoria di siti che fa tutto giusto e non viene mai citata da nessuna AI per un motivo banale: ha il cancello chiuso. Succede più spesso di quanto sembri, perché diversi plugin "di protezione contenuti" e diversi hosting hanno cominciato a bloccare quei bot in automatico, senza chiedere niente a nessuno.

Come si comportano#

Non sono particolarmente esotici. Seguono i link, scaricano le pagine, rispettano il robots.txt — i bot delle aziende serie, almeno — e preferiscono HTML pulito. Se una pagina ha il contenuto costruito dal JavaScript dopo il caricamento, molti di loro leggono una pagina vuota.

Vale la pena distinguere due mestieri diversi:

• I crawler per l'addestramento (GPTBot, ClaudeBot) raccolgono testo per costruire i modelli.
• I crawler per le risposte dal vivo (OAI-SearchBot, PerplexityBot, Claude-SearchBot) vanno a leggere le pagine nel momento in cui qualcuno fa una domanda.

Se il tuo obiettivo è essere citato adesso, i secondi sono quelli che contano di più. Bloccare i primi e lasciare aperti i secondi è una posizione ragionevole, se la questione dell'addestramento ti sta a cuore.

Il controllo, in cinque minuti#

1. Apri iltuosito.it/robots.txt.
2. Cerca i nomi: GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended, Applebot-Extended.
3. Se accanto a uno c'è Disallow: /, quel sistema non entra. Punto.
4. Controlla anche di non aver bloccato CSS e JavaScript per tutti: senza, molte pagine risultano illeggibili.

Se non trovi niente di tutto questo, sei aperto: è la condizione normale ed è quella giusta per quasi tutti.

Se non vuoi leggere il file a mano, il controllo robots.txt elenca quali bot AI stai tenendo fuori e le regole che si contraddicono; per scriverne uno pulito c'è il generatore.

Il testo deve stare nell'HTML#

È l'altro blocco silenzioso. Se il contenuto della pagina compare solo dopo che il browser ha eseguito degli script, molti crawler AI non lo vedono.

Il test è brutale e dura dieci secondi: apri la pagina, tasto destro, Visualizza sorgente pagina, e cerca una frase del tuo testo. Se non c'è nel codice, per parecchi bot quella frase non esiste. Vale soprattutto per i siti costruiti con framework moderni e per certi contenuti caricati "quando servono", tipo le schede a fisarmonica delle FAQ.

E il famoso llms.txt#

È un file di testo alla radice del sito che elenca le pagine più importanti in markdown, pensato per dare ai modelli una mappa pulita. L'idea è sensata.

I fatti, però: è una proposta, non uno standard adottato, e non esiste una prova pubblica che porti più citazioni. Costa dieci minuti farlo, quindi non c'è motivo di essere ostili. C'è però un motivo per non metterlo in cima alla lista: robots.txt e sitemap decidono se esisti, llms.txt al massimo aiuta a orientarsi.

Fallo dopo aver sistemato i primi due, non prima.

Quando arrivi a farlo: il generatore llms.txt lo costruisce dalla tua home, il validatore lo controlla.