Che cos'è il file robots.txt:

1. Il file robots.txt (scritto interamente in minuscolo) è un file di testo che si trova nella directory principale di un sito web; solitamente indica ai robot dei motori di ricerca quali contenuti del sito possono essere indicizzati e quali no.

2. Il nome del file robots.txt deve essere scritto interamente in minuscolo. Il file robots.txt deve essere collocato nella directory principale del sito web

3. Se si desidera definire separatamente il comportamento degli spider dei motori di ricerca nell'accesso alle sottodirectory, è possibile integrare le impostazioni personalizzate nel file robots.txt presente nella directory principale

4. Il protocollo robots.txt non è uno standard, ma solo una convenzione, quindi non garantisce la privacy del sito web

5. Si noti che il file robots.txt utilizza il confronto delle stringhe per determinare se acquisire un URL, quindi la presenza o l'assenza della barra "/" alla fine della directory indica URL diversi

Contenuto del file robots.txt

1. Accessibilità o indicizzabilità da parte dei robot dei motori di ricerca

2. Accessibilità dei robot dei motori di ricerca a directory o file

3. Definizione del percorso della mappa del sito (sitemap)

4. Limiti relativi all'intervallo di tempo di scansione da parte dei robot dei motori di ricerca

Informazioni sul generatore di file robots.txt

1. Impostare i dati da configurare tramite l'interfaccia web, quindi fare clic su "Genera" per creare il contenuto del file robots.txt

2. Creare un file di testo vuoto, denominarlo "robots.txt", quindi copiare e incollare il contenuto sopra riportato nel file "robots.txt"

3. Posizionare il file "robots.txt" nella directory principale del sito web, accedere a robots.txt e assicurarsi che sia accessibile ai robot dei motori di ricerca