Robots.txt

Che cos'è robots.txt?

Il file robots.txt è un documento di testo che funge da raccomandazione per i motori di ricerca. Permette ai proprietari dei siti di gestire quali pagine e sezioni delle loro risorse possono essere indicizzate dai robot dei motori di ricerca. Questo file viene posizionato nella directory radice del sito e contiene istruzioni che possono sia autorizzare che vietare la scansione di pagine specifiche. Ciò è importante per garantire una corretta indicizzazione e ottimizzazione del sito, per evitare che informazioni riservate appaiano nei risultati di ricerca.

A cosa serve robots.txt?

Lo scopo principale dell'utilizzo del file robots.txt è quello di indicare ai motori di ricerca quali pagine devono essere scansionate e quali devono essere ignorate. Se queste regole non vengono specificate, i robot crawler possono indicizzare il sito a loro discrezione, il che può portare a conseguenze indesiderate, come l'indicizzazione di pagine di servizio o contenuti duplicati. Questo, a sua volta, può influenzare negativamente l'ottimizzazione SEO e la promozione della risorsa, poiché i motori di ricerca potrebbero non riconoscere le pagine importanti.

Inoltre, il file robots.txt aiuta a ridurre il carico sul server limitando il numero di richieste, il che ha anche un effetto positivo sulle prestazioni generali del sito. Sebbene il file non sia obbligatorio, molti specialisti SEO ne raccomandano l'uso nell'ambito dell'ottimizzazione interna ed esterna.

Come creare robots.txt?

La creazione del file robots.txt non richiede abilità speciali e può essere effettuata utilizzando qualsiasi editor di testo, ad esempio "Blocco note" in Windows o TextEdit in macOS. Tuttavia, è importante seguire alcune regole di formattazione:

• Il nome del file deve essere robots.txt;
• Il file deve essere in formato testo (txt);
• La codifica del file deve essere UTF-8.

Dopo aver creato un file vuoto, è possibile caricarlo sul sito. Per impostazione predefinita, verrà considerato come autorizzante. Per gestire l'indicizzazione, è necessario specificare le regole per pagine specifiche. Di solito si chiude l'accesso a pagine che non sono destinate alla pubblica visione, come le pagine di accesso, i pannelli di amministrazione e le directory tecniche.

Direttive di robots.txt

Le direttive di robots.txt sono comandi che indicano ai robot dei motori di ricerca come devono interagire con il sito. Ogni gruppo di regole inizia con la direttiva User-agent, che indica a quale specifico robot sono indirizzate le istruzioni successive. Ad esempio:

User-agent: Googlebot

Dopo la direttiva User-agent seguono le istruzioni, che possono includere le direttive Disallow e Allow. La direttiva Disallow viene utilizzata per vietare l'indicizzazione di pagine o directory specifiche, mentre Allow consente l'indicizzazione. Ad esempio, per chiudere l'intero sito all'indicizzazione, si può utilizzare la seguente registrazione:

User-agent: *
Disallow: /

Simboli speciali in robots.txt

Nel file robots.txt è possibile utilizzare anche simboli speciali che specificano le regole per i robot dei motori di ricerca:

• * — simbolo che vieta l'indicizzazione della pagina all'indirizzo specificato;
• # — utilizzato per aggiungere commenti che vengono ignorati dai robot;
• $ — posizionato alla fine dell'URL per annullare l'azione del simbolo speciale *.

Questi simboli aiutano a configurare il file in modo più preciso, evitando l'indicizzazione di pagine indesiderate e mantenendo al sicuro contenuti importanti.

Come caricare e controllare robots.txt?

Dopo aver creato il file robots.txt, è necessario caricarlo nella directory radice del sito. Il modo di caricare dipende dall'architettura del sito e dal server utilizzato. Dopo il caricamento, è importante verificare la disponibilità del file, inserendo nella barra degli indirizzi il seguente formato:

https://il_tuo_sito.com/robots.txt

Per verificare il funzionamento del file, è possibile utilizzare gli strumenti dei motori di ricerca, come Google Search Console per Google e Webmaster Yandex per Yandex.

Errori comuni nella configurazione del file robots.txt

Alcuni errori comuni nella configurazione del file robots.txt possono portare alla sua non funzionalità. Ecco alcuni di essi:

• Direttiva User-agent vuota — non ci sono indicazioni su quali robot siano destinate le regole;
• Assenza del simbolo / o * all'inizio delle regole Disallow o Allow;
• Registrazione Disallow: / per un sito attivo, che porta a un blocco totale dell'indicizzazione;
• Assenza del simbolo : tra la direttiva e la regola, rendendole incomprensibili per i robot.

Come i motori di ricerca comprendono il file robots.txt?

I motori di ricerca, come Google e Yandex, possono interpretare il file robots.txt in modi diversi. Yandex segue rigorosamente le istruzioni e se una pagina è chiusa dalla direttiva Disallow, non verrà scansionata. Google, invece, considera la direttiva Disallow più come una raccomandazione piuttosto che un divieto. Ciò significa che per proteggere pagine riservate si consiglia di utilizzare metodi aggiuntivi, come password o direttive noindex.