Sitemap.xml et robots.txt : le B.A.-BA technique du SEO.

Votre site est en ligne, les pages sont soignées, les textes sont rédigés. Pourtant, dans Google, rien ne remonte, ou seulement une partie du site. Dans ce cas, avant de réécrire des contenus, regardez deux fichiers que personne n'ouvre jamais : le sitemap.xml et le robots.txt. Ils tiennent en quelques lignes, mais ils indiquent aux robots des moteurs de recherche où aller et où ne pas aller.

La plupart des problèmes que nous rencontrons chez les PME lorraines viennent d'un oubli : un site laissé en mode « bloqué » après la mise en ligne, un plan de site qui liste des pages inutiles, ou un fichier jamais déclaré à Google. Rien de très compliqué, mais une seule ligne mal placée peut effacer un site des résultats. Cet article explique, sans jargon, ce que font ces deux fichiers, les erreurs classiques, la vérification dans la Search Console et les spécificités de WordPress, Shopify et du site sur mesure.

Le robots.txt : le portier de votre site

Le fichier robots.txt se trouve à la racine de votre site, à l'adresse votresite.fr/robots.txt. C'est un simple fichier texte lu par les robots d'exploration avant toute visite. Il leur indique quelles zones ils peuvent parcourir et lesquelles ils doivent éviter. Pensez à un portier : il ne verrouille pas les portes, il donne une consigne que les robots sérieux respectent.

Ce fichier se compose de quelques instructions. La ligne User-agent désigne le robot concerné (l'étoile signifie « tous »). La ligne Disallow interdit un chemin, la ligne Allow en autorise un, et la ligne Sitemap pointe vers votre plan de site. Un fichier typique pour une PME ressemble à une liste courte : on bloque l'administration, les pages de recherche interne et le panier, et on laisse tout le reste ouvert.

Retenez deux limites importantes. D'abord, le robots.txt n'est pas un outil de sécurité : un robot malveillant l'ignore, et la liste des dossiers interdits est lisible par tous. Ensuite, bloquer une page dans le robots.txt n'empêche pas toujours son apparition dans Google, si d'autres sites pointent vers elle. Pour retirer une page des résultats, on utilise plutôt la balise noindex, que le robot doit pouvoir lire.

Le sitemap.xml : le plan de votre site pour Google

Le sitemap.xml est un fichier au format XML qui liste les adresses des pages que vous souhaitez voir explorées et indexées. Il ne garantit pas l'indexation, mais il facilite le travail du robot, surtout pour un site récent, peu cité par d'autres sites ou riche en pages. Il se trouve souvent à l'adresse votresite.fr/sitemap.xml, parfois sous un nom d'index qui renvoie à plusieurs fichiers.

Pour chaque page, le fichier indique l'adresse et, idéalement, la date de dernière modification. Cette date est utile : elle signale à Google qu'une page a changé et mérite d'être revisitée. Mais elle doit être honnête. Un site qui affiche la même date partout, tous les jours, finit par perdre la confiance du robot.

Un bon sitemap respecte quelques règles simples :

• il ne contient que des pages accessibles (code 200) ;
• il n'inclut aucune page en noindex ni en redirection ;
• il utilise l'adresse finale (avec ou sans « www », en https) ;
• il reste sous la limite de taille fixée par les moteurs ;
• il se met à jour automatiquement quand vous publiez.

Pour un site de dix à cinquante pages, le fichier est modeste. Sur un blog actif, il évolue chaque mois, d'où l'intérêt de le générer automatiquement.

Les erreurs classiques qui coûtent cher

Certaines erreurs reviennent régulièrement, et elles se corrigent en quelques minutes une fois repérées. Voici celles que nous croisons le plus souvent.

Bloquer tout le site

La ligne « Disallow: / » interdit l'accès à l'intégralité du site. Elle est normale sur un site en préproduction, mais catastrophique en production. Elle survit parfois à la mise en ligne parce que personne ne relit le fichier. Le symptôme : plus aucune page ne s'affiche, ou un message indiquant qu'aucune information n'est disponible à cause du fichier robots.txt.

Un sitemap qui contredit le reste

Un plan de site qui liste des pages en noindex envoie un signal contradictoire : « indexez cette page » et « ne l'indexez pas » en même temps. Même chose pour des pages redirigées ou en erreur 404. Google les ignore, mais il note l'incohérence, et votre rapport d'indexation se remplit d'alertes.

Bloquer les ressources du site

Interdire les dossiers de scripts ou de styles empêche Google de voir la page comme un visiteur. Elle peut alors être jugée mal adaptée aux mobiles. Laissez ces fichiers accessibles.

Oublier la déclaration

Un sitemap qui existe mais que personne n'a déclaré dans la Search Console est sous-exploité. La ligne « Sitemap » dans le robots.txt aide, la déclaration manuelle confirme. Ces erreurs sont aussi classiques lors d'une migration : notre checklist de refonte et de redirections 301 détaille les contrôles à faire.

Vérifier vos fichiers dans la Search Console

La Google Search Console est l'outil gratuit qui montre comment Google voit votre site. Si vous ne l'avez pas encore, notre guide de la Search Console pour les PME explique comment l'ouvrir et la lire. Voici la routine de vérification à suivre pour vos deux fichiers.

1. Ouvrez votre robots.txt dans le navigateur et relisez-le ligne à ligne. Cherchez surtout « Disallow: / ».
2. Ouvrez votre sitemap.xml et vérifiez que les adresses sont les bonnes (https, bon nom de domaine).
3. Dans la Search Console, allez dans la section dédiée aux sitemaps et saisissez l'adresse du fichier. Le statut doit indiquer « Réussite ».
4. Regardez le nombre de pages découvertes : il doit être proche du nombre de pages utiles de votre site.
5. Ouvrez le rapport d'indexation des pages et examinez les motifs d'exclusion : « bloquée par le fichier robots.txt », « exclue par la balise noindex », « page avec redirection ».
6. Utilisez l'inspection d'URL sur une page importante pour voir si Google peut l'explorer et l'indexer.

Reprenez cette vérification après chaque grosse modification. Une alerte ponctuelle n'est pas toujours grave, mais une hausse soudaine de pages exclues doit vous alerter.

Comment ça se passe selon votre type de site

Le comportement de ces fichiers dépend de la technologie utilisée. Voici un panorama des cas les plus courants chez les PME. Les noms de réglages varient selon les versions, vérifiez toujours dans votre interface.

Dans tous les cas, un fichier généré automatiquement reste préférable à un fichier tenu à la main, sauf si votre site est très petit et stable. Les données structurées, qui précisent le sens de vos pages, complètent ce travail : voir notre article sur les données structurées Schema pour les PME.

WordPress, Shopify, site sur mesure : les pièges propres à chacun

Sur WordPress, le réglage « Demander aux moteurs de recherche de ne pas indexer ce site » est activé pendant la construction. Il est facile d'oublier de le décocher au lancement. Le robots.txt est alors modifié, et les pages portent une balise noindex. Après la mise en ligne, contrôlez ce réglage en premier. Les extensions SEO produisent le sitemap, mais vérifiez qu'elles n'y glissent pas des pages inutiles comme les pages d'auteurs, les catégories vides ou les pièces jointes.

Sur Shopify, le sitemap est créé automatiquement et le robots.txt est correct par défaut. Le piège vient plutôt des pages produits accessibles par plusieurs adresses (collections, filtres, variantes), qui créent du contenu en double. Le sujet est traité dans notre article sur le contenu dupliqué et comment l'éviter.

Sur un site sur mesure, tout dépend du développeur. Il faut que le sitemap soit régénéré à chaque publication, que le robots.txt soit présent à la racine et que les pages privées ne soient pas listées. Chez L'AR, nous suivons cette logique sur nos propres sites : plan de site généré automatiquement, déclaré dans la Search Console et contrôlé après chaque lot de publications.

Si vous ne savez pas quel cas est le vôtre, tapez simplement l'adresse de votre fichier dans le navigateur. Un message d'erreur 404 est déjà une information utile.

Écrire un robots.txt propre : ce qu'il faut bloquer ou non

La règle d'or est de bloquer le moins possible. Un robots.txt n'est pas une liste de précautions, c'est une consigne ciblée. Pour une PME, on bloque généralement l'espace d'administration, les résultats de recherche interne, le panier et le tunnel de commande, ainsi que les pages de remerciement ou de test. Tout le reste, y compris les images, les styles et les scripts, doit rester accessible.

Quelques repères pratiques :

• commencez toujours par User-agent: * pour s'adresser à tous les robots ;
• ne bloquez jamais un dossier sans vérifier qu'il ne contient pas de pages à indexer ;
• ajoutez la ligne Sitemap avec l'adresse complète du plan de site ;
• une consigne par ligne, sans espaces superflus ni commentaires ambigus ;
• testez chaque modification avant de la publier.

Concernant les robots d'intelligence artificielle, vous pouvez autoriser ou refuser leur passage par des lignes spécifiques. C'est un choix éditorial : bloquer ces robots réduit la présence de votre site dans les réponses générées par ces outils, l'autoriser l'augmente. Décidez en connaissance de cause plutôt que par défaut.

Gardez enfin une copie de votre fichier avant toute modification. Si un souci apparaît, vous pourrez revenir à la version précédente en quelques secondes.

Checklist de contrôle en dix points

À imprimer ou à recopier. Passez ces points en revue après chaque mise en ligne, refonte ou changement d'hébergeur.

• L'adresse /robots.txt répond et affiche bien le fichier attendu.
• Aucune ligne « Disallow: / » ne subsiste en production.
• La ligne « Sitemap » du robots.txt contient une adresse complète et exacte.
• L'adresse /sitemap.xml répond en code 200.
• Le sitemap ne liste que des pages indexables, sans noindex ni redirection.
• Les adresses du sitemap sont en https et sans doublon avec ou sans « www ».
• Le sitemap est déclaré dans la Search Console, statut « Réussite ».
• Le rapport d'indexation ne montre pas de hausse brutale des exclusions.
• Les pages clés passent l'inspection d'URL sans blocage.
• Le réglage « décourager les moteurs » est désactivé (WordPress) ou le mode préproduction levé.

Si vous cochez tous les points, votre socle technique est sain. Reste ensuite à faire le travail de fond sur les contenus, les liens et la fiche d'établissement, qui font la vraie différence dans les résultats.

Ce que L'AR Communication peut faire pour vous

Nous contrôlons ces fichiers dans le cadre de nos prestations de référencement local et SEO (dès 199 € HT par mois) et proposons un audit SEO à 299 € HT, qui passe en revue la partie technique, les contenus et la visibilité locale. Vous repartez avec un état des lieux clair et des priorités classées.

Si vous préparez un nouveau site ou une refonte, notre équipe de création de site internet prévoit dès la conception un sitemap généré automatiquement, un robots.txt adapté et la déclaration dans la Search Console. Les offres de création démarrent à 999 € HT pour une landing page et 1 999 € HT pour un site vitrine.

Questions fréquentes

C'est quoi un fichier robots.txt et à quoi sert-il ?

Le robots.txt est un fichier texte placé à la racine de votre site. Il donne des consignes aux robots d'exploration des moteurs de recherche : quelles zones parcourir, lesquelles éviter. Il sert à protéger l'administration, le panier ou les pages sans intérêt pour le référencement. Il n'est pas un outil de sécurité, car les robots malveillants peuvent l'ignorer et son contenu est lisible par tous.

Faut-il obligatoirement un sitemap.xml pour être référencé sur Google ?

Non, un sitemap n'est pas obligatoire : Google peut découvrir vos pages par les liens internes. Il est en revanche très utile pour un site récent, un site avec beaucoup de pages ou un blog qui publie souvent. Il accélère la découverte des nouvelles pages et permet de suivre l'indexation dans la Search Console. Pour une PME, c'est une bonne pratique à mettre en place dès la création du site.

Comment savoir si mon site est bloqué par le robots.txt ?

Tapez l'adresse de votre site suivie de /robots.txt dans le navigateur et cherchez la ligne Disallow: / sous User-agent: *. Dans la Search Console, l'inspection d'URL indique si une page est bloquée par le fichier. Le rapport d'indexation affiche aussi le motif d'exclusion « bloquée par le fichier robots.txt ». Sur WordPress, vérifiez également le réglage qui décourage les moteurs d'indexer le site.

Comment soumettre un sitemap à la Search Console ?

Connectez-vous à la Search Console, choisissez votre propriété, puis ouvrez la section Sitemaps. Saisissez l'adresse de votre fichier (par exemple sitemap.xml) et validez. Le statut doit passer à Réussite. Ajoutez aussi la ligne Sitemap dans votre robots.txt. Si le statut affiche une erreur, vérifiez que l'adresse répond bien, que le format XML est valide et que les pages listées sont accessibles.

Peut-on mettre des pages en noindex dans le sitemap ?

Ce n'est pas recommandé. Le sitemap indique les pages que vous voulez voir indexées, alors que le noindex demande l'inverse. Ce signal contradictoire génère des alertes dans la Search Console et brouille l'analyse. Retirez du sitemap toutes les pages en noindex, en redirection ou en erreur. Gardez uniquement les pages utiles, accessibles et que vous souhaitez réellement voir apparaître dans les résultats de recherche.

Que faire après une refonte de site pour ne pas perdre son référencement ?

Contrôlez d'abord que le robots.txt ne bloque plus rien, puis régénérez et redéclarez le sitemap dans la Search Console. Vérifiez les redirections 301 des anciennes adresses vers les nouvelles et surveillez le rapport d'indexation pendant plusieurs semaines. Une baisse temporaire est possible après une migration, mais une chute durable révèle souvent un blocage technique ou une redirection manquante qu'il faut corriger rapidement.