Suivre les robots de recherche et d’IA

Cet article explique comment voir quels robots de moteurs de recherche et d’IA lisent votre site et quand Google a lu une page pour la dernière fois. Vous saurez aussi ce que votre site offre aux assistants IA : la version Markdown de chaque page et le fichier llms.txt.

Avant de commencer

• Votre site reconnaît un robot de Google, de Bing ou d’une IA à son adresse IP, parmi celles que publie l’entreprise qui l’exploite. Un robot reconnu est dit vérifié. Un programme qui se présente comme Googlebot depuis une autre adresse n’en est pas un.
• Chaque page lue par un robot vérifié est un passage. Un passage n’est jamais une visite : il n’entre ni dans vos pages vues, ni dans vos visiteurs, ni dans les pages vues de votre offre.
• Les passages se lisent dans le menu Statistiques, qui demande le rôle Éditeur ou Administrateur.

Comprendre le fichier robots.txt

Le fichier robots.txt, à la racine de votre domaine, indique aux robots ce qu’ils peuvent explorer. Votre site l’écrit selon l’environnement. Il n’a pas d’écran de réglage.

Voir quels robots passent

1. Dans le menu Statistiques, ouvrez l’onglet Robots.
2. Lisez la carte Robots de recherche et d’IA. Elle compte les passages de robots vérifiés sur la période, puis donne un robot par ligne.

Sans robot vérifié sur la période, la carte affiche Aucun robot vérifié sur la période.

Ouvrir le détail d’un robot

1. Cliquez sur le nom d’un robot. Son détail s’ouvre dans un panneau sur le côté.
2. Lisez Pages explorées : les pages qu’il a lues sur la période, les plus lues d’abord, avec le dernier statut et le dernier passage.
3. Descendez jusqu’à Derniers passages : ses derniers passages, un par ligne.

Un clic sur une page de Pages explorées ouvre son détail à la place.

Lire le trafic des robots

La carte Trafic des robots, sous la première, liste les visites des robots qui donnent leur nom sans être vérifiés. Par exemple un outil de référencement comme AhrefsBot, l’aperçu d’un lien partagé sur un réseau social ou une messagerie, ou une IA lancée depuis l’ordinateur de son utilisateur. Chaque ligne donne son Agent utilisateur et ses Sessions.

Les scanners, les outils en ligne de commande et les serveurs loués n’y figurent pas : leurs visites ne sont comptées nulle part.

Savoir si Google a lu une page

1. Ouvrez le détail de la page : cliquez sur son adresse dans une carte de l’écran Statistiques.
2. Descendez jusqu’à la carte de visibilité et cliquez sur Santé de l’exploration.
3. Lisez les trois tuiles Google, Bing et IA. Chacune donne le dernier passage de cette famille de robots sur la page, par exemple il y a 2 heures. La date et l’heure s’affichent dessous.

Les tuiles portent sur les 90 derniers jours, quelle que soit la période choisie. Sans passage, une tuile affiche Aucun passage depuis 90 jours. Quand le dernier statut servi n’était pas 200, il s’affiche en rouge à côté : un 404 servi à Googlebot est une alerte.

Sous les tuiles, un tableau donne pour chaque robot ses passages sur la page et sur son Markdown, son Dernier statut et son Dernier passage. Plus bas, Derniers passages liste les derniers passages de la période. Chaque ligne donne la Date et heure, le Robot, le Type, le Statut et le Document (la page ou son Markdown). Pour Googlebot et Bingbot, le type est Smartphone ou Ordinateur.

Durée de conservation des passages

Le détail de chaque passage est gardé 90 jours, avec sa date et son heure, le robot, le statut servi et la version lue. Aucune adresse IP n’est gardée. Le compte des passages par jour reste aussi longtemps que vos statistiques de visite. L’archive de votre site donne les deux : Récupérer votre site la décrit.

Offrir vos pages aux IA en Markdown

Chaque page publique de votre site existe aussi en Markdown, le format que les assistants IA lisent le mieux. Vous n’avez rien à régler.

• L’adresse de la page suivie de .md la sert, par exemple /tarifs.md. Pour l’accueil, l’adresse est /index.md.
• L’adresse habituelle de la page la sert aussi à un assistant qui demande du Markdown.
• Chaque page annonce sa version Markdown dans son code et déclare la page normale comme adresse de référence.

Là où le schéma Organisation s’affiche, la version Markdown se termine par la section À propos de l’organisation. Elle donne votre nom, votre adresse, votre téléphone, votre e-mail, vos horaires d’ouverture, votre fourchette de prix et vos comptes liés.

Le lien Voir le Markdown, en tête du détail d’une page dans les statistiques, ouvre sa version Markdown.

Compter les visites IA

Une visite IA est une lecture de la version Markdown d’une page par un programme qui n’est pas un robot vérifié, un assistant IA le plus souvent. Elle n’est jamais ajoutée aux vues ni aux visiteurs.

• L’indicateur Visites IA de la vue d’ensemble les compte sur la période.
• La colonne Visites IA de l’onglet Toutes les pages les compte page par page.
• Dans le détail d’une page, la vue Visites IA les sépare À son adresse .md et À l’adresse de la page.

Les lectures des robots vérifiés sont comptées dans Santé de l’exploration.

Écrire l’index pour les IA

Le fichier /llms.txt, à la racine de votre site, dit en quelques lignes ce qu’est le site et où lire son contenu. Il se construit à partir de votre site. Il donne votre nom et l’adresse de votre sitemap.xml, puis une section par type de contenu avec la phrase qui le décrit et ses entrées. Un type qui a trop d’entrées pour les nommer toutes donne l’adresse de sa liste à la place, s’il en a une. Sinon, il nomme ses entrées modifiées le plus récemment.

1. Dans le menu Visibilité, ouvrez Index IA.
2. Dans De quoi parle ce site, écrivez deux ou trois phrases qui présentent votre site à une IA.
3. Cliquez sur Enregistrer. Le message Description enregistrée. s’affiche.
4. Relisez Le fichier tel qu’il sera servi, en bas de l’écran.

Laissé vide, le champ reprend la description de votre organisation, sinon le slogan du site. La phrase de chaque type de contenu se règle dans le type lui-même.

Voir aussi

• Régler le référencement d’une page
• Lire vos statistiques
• Brancher votre IA