Il file robots.txt è un file di testo presente nella root (la directory principale) di un sito web. La sua funzione è fornire istruzioni ai crawler dei motori di ricerca (quindi anche al Googlebot) in relazione a quali pagine o directory si vuole escludere dalla scansione. Tale esclusione avviene attraverso un preciso protocollo (Robots Exclusion Protocol) che di seguito andremo a vedere nel dettaglio.
In mancanza di indicazioni contrarie, i crawler scansionano tutte le risorse a cui riescono ad accedere, seguendo la struttura di navigazione interna al sito, i percorsi delle risorse (es. i path delle immagini), i link provenienti da siti esterni, o sulla base delle indicazioni presenti nei file sitemap.
Proprio perché il robots.txt serve ad impedire la scansione di determinate risorse, se non si intende bloccare nulla, cosa che avviene anche se il robots.txt non è presente, la forma corretta dovrebbe essere:
User-agent: * Disallow:
in cui, vista la mancanza di percorso dopo l'istruzione Disallow, si specifica che i crawler non hanno alcun blocco piuttosto che la versione spesso suggerita
User-agent: * Allow: /
in cui si indica che i crawler sono autorizzati a scansionare tutto.
L'istruzione Allow ha infatti motivo di esistere quando, in abbinamento a quella Disallow, serve a dichiarare la possibilità di scansionare risorse che altrimenti, proprio in funzione della presenza di istruzioni Disallow potrebbero altrimenti risultare bloccate, come nell'esempio di seguito riportato
User-agent: * Disallow: / Allow: /public/
In questo caso l'intero sito è bloccato ai crawler fatta eccezione per la directory /public e relative sottodirectory. A conferma del fatto che l'istruzione Allow ha senso solo se abbinata a quella Disallow, se il robots.txt avesse avuto la sola istruzione
User-agent: * Allow: /public/
i crawler sarebbero autorizzati a scansionare l'intero sito e non solo la directory indicata.
Chiarita la funzionalità base, è importante comprendere che sebbene non sia un fattore di ranking diretto, l'utilizzo corretto del robots.txt può influenza la SEO in diversi modi:
Ottimizzazione del crawl budget
I motori di ricerca dispongono di un budget limitato per la scansione di un sito web. Il file robots.txt permette di concentrarlo sulle pagine più importanti, evitando sprechi su aree non prioritarie come pagine di login, aree di test o contenuti duplicati.
Prevenzione dell'indicizzazione di contenuti indesiderati
Evitare la scansione di pagine non ottimizzate, duplicate o di scarsa qualità può migliorare la pertinenza del sito nei risultati di ricerca. Sebbene il solo blocco delle risorse attraverso il robots.txt non garantisca che queste non vengano indicizzate (è infatti fortemente consigliato abbinare altri blocchi allo scopo), è indubbio che la mancata scansione è un fortissimo disincentivo al processo di indicizzazione.
Controllo della visibilità di aree "riservate"
È possibile impedire ai crawler di accedere a sezioni riservate del sito come l'area amministrativa o il carrello della spesa.
Esempio:
User-agent: * Disallow: /admin/ Disallow: /carrello/
Gestione di parametri URL
Il file robots.txt permette di gestire la scansione di parametri URL e hashbangs che potrebbero generare contenuti duplicati o indesiderati ne consegue, come già detto in precedenza, che se una risorsa non può essere scansionata si riducono sensibilmente le possibilità che questa venga indicizzata
Esempio:
User-agent: * Disallow: /?parameter=
Lo scopo di questa breve guida non è approfondire tutti gli aspetti tecnici legati al corretto utilizzo del robots.txt quanto piuttosto evidenziare quanto questo possa rappresentare uno strumento fondamentale per la SEO, per il quale troppo spesso ci si limita alle impostazioni di default dei CMS e plugin/moduli vari.
Una configurazione corretta aiuta i motori di ricerca a comprendere meglio la struttura del sito web, a concentrarsi sulle pagine più importanti, migliorando il processo di scansione, quindi l'indicizzazione e come naturale ricaduta le possibilità di ambire ad una buona visibilità del sito nei risultati di ricerca.
Viceversa, una errata configurazione del robots.txt può impedire l'accesso del Googlebot alle pagine importanti del sito, compromettendone la scansione e quindi l'indicizzazione, e/o impedendo l'accesso a risorse fondamentali per il rendering del layout (ad esempio file .js e .css) con conseguenze negative, ad esempio, sulla verifica dell'ottimizzazione del sito per i dispositivi mobile.
In ultimo ma non meno importante:
Il file robots.txt non impedisce la visualizzazione delle pagine ai visitatori umani.
Se intendete impedire agli utenti di accedere a determinate aree del sito, non è questo lo strumento che fa al caso vostro.
È importante testare il file robots.txt dopo ogni modifica per verificarne l'effetto sulla scansione del sito.
La Search Console offre uno strumento per verificare il funzionamento delle direttive del robots.txt, vista l'enorme differenza che può fare la presenza o meno di un semplice slash “/”, testate sempre le vostre modifiche.
In caso di dubbi o per configurazioni avanzate, rivolgetevi alla Community Search Central di Google.
Linee guida di Google:
Per una configurazione ottimale del file robots.txt, consultare le linee guida ufficiali di Google: https://developers.google.com/search/docs/crawling-indexing/robots/intro?hl=it.