Ces deux fichiers aident les moteurs de recherche à explorer correctement votre site.
Le fichier robots.txt
Placé à la racine du site, il indique aux robots les parties à ne pas explorer. Exemple simple :
User-agent: *
Disallow: /admin/
Sitemap: https://www.votre-domaine.fr/sitemap.xml
Disallow:suivi de rien autorise tout.Disallow: /interdit tout le site : à ne laisser que pendant la construction.
Le plan du site
Le fichier sitemap.xml liste les pages à indexer. Sous WordPress, une extension SEO le génère et le met à jour automatiquement ; sinon, des générateurs en ligne le créent pour vous.
Les déclarer à Google
Dans Google Search Console, rubrique Sitemaps, saisissez l'adresse de votre plan du site. Vous y suivrez ensuite les pages indexées et les éventuelles erreurs.
Le fichier robots.txt n'est pas une protection : il est public et ne fait que donner des consignes. Pour interdire réellement l'accès à un dossier, protégez-le par mot de passe.