Qu'est-ce qu'un fichier robots.txt :

1. Le fichier robots.txt (toujours en minuscules) est un fichier texte placé dans le répertoire racine d'un site web. Il indique généralement aux robots des moteurs de recherche quels contenus du site peuvent être indexés et lesquels ne le peuvent pas.

2. Le nom du fichier robots.txt doit être entièrement en minuscules. Le fichier robots.txt doit être placé dans le répertoire racine du site web

3. Si vous souhaitez définir séparément le comportement des robots des moteurs de recherche vis-à-vis des sous-répertoires, vous pouvez intégrer ces paramètres personnalisés dans le fichier robots.txt du répertoire racine

4. Le protocole robots.txt n'est pas une norme, mais une convention, il ne garantit donc pas la confidentialité du site web

5. Attention : le fichier robots.txt utilise la comparaison de chaînes de caractères pour déterminer si une URL doit être récupérée ; ainsi, la présence ou l'absence d'une barre oblique « / » à la fin du répertoire correspond à des URL différentes

Contenu du fichier robots.txt

1. Accessibilité ou indexabilité par les robots des moteurs de recherche

2. Accessibilité des répertoires ou des fichiers par les robots des moteurs de recherche

3. Définition du chemin d'accès au plan du site (sitemap)

4. Limitation de la fréquence d'exploration par les robots des moteurs de recherche

À propos du générateur de fichier robots.txt

1. Configurez les données souhaitées via l'interface Web, puis cliquez sur « Générer » pour créer le contenu du fichier robots.txt

2. Créez un fichier texte vierge, nommez-le « robots.txt », puis copiez-collez le contenu ci-dessus dans ce fichier

3. Placez le fichier « robots.txt » dans le répertoire racine de votre site web, accédez à robots.txt et assurez-vous qu'il est accessible aux robots d'indexation