Sites, migration et Astro 8 min

Site lu par les IA : ce qui le rend citable

Un site devient citable par les IA quand leurs robots peuvent le lire et qu'ils y trouvent une réponse nette. Concrètement : des robots de recherche admis dans le robots.txt réellement servi, un texte présent dans le HTML sans exécuter de JavaScript, une réponse en tête de page, des faits datés et sourcés, une adresse stable par sujet.

Sommaire8
  1. 01Trois familles de robots, trois décisions
  2. 02Le robots.txt servi n’est pas toujours celui du dépôt
  3. 03Un texte présent dans le HTML
  4. 04Une page, une question, une réponse en tête
  5. 05Des faits datés, sourcés et cohérents
  6. 06Une adresse stable par sujet
  7. 07Le reste du chantier
  8. 08Questions fréquentes

Un assistant d’IA qui cite votre site a d’abord dû le lire. Cette étape, la plus simple en apparence, est celle où beaucoup de sites échouent sans le savoir : un robot refusé par une option que personne n’a activée, un texte qui n’apparaît qu’une fois le JavaScript exécuté, une réponse noyée sous trois paragraphes d’introduction. Notre article sur comment être cité par ChatGPT traite du contenu et de la mesure ; celui-ci regarde ce que la construction du site décide. Il complète notre guide de la migration vers un site statique avec Astro.

En bref

  • Les robots des assistants d’IA se divisent en trois familles : entraînement, recherche, et visite à la demande d’un utilisateur. On peut les traiter différemment.

  • Le robots.txt qui compte est celui que le site sert réellement, pas celui du dépôt : une couche réseau peut le réécrire.

  • Une étude de Vercel de décembre 2024 n’a trouvé aucun grand robot d’IA qui exécute le JavaScript, à part celui de Gemini, qui passe par Googlebot.

  • Une page citable répond à une question dès ses premières lignes, avec des faits datés et sourcés.

  • Google indique qu’aucun fichier ni balisage spécial n’est nécessaire pour ses fonctionnalités d’IA : une page indexée et bien construite suffit.

Trois familles de robots, trois décisions

Chaque éditeur d’IA envoie plusieurs robots, qui ne servent pas à la même chose. OpenAI décrit les siens dans sa documentation sur les robots : GPTBot sert à l’entraînement des modèles, OAI-SearchBot à faire apparaître des sites dans les réponses de recherche de ChatGPT, et ChatGPT-User visite une page quand un utilisateur le demande. Anthropic suit le même découpage dans sa page d’aide avec ClaudeBot, Claude-SearchBot et Claude-User.

Ce que chaque famille de robots fait de votre page

  1. L’entraînement

    La page peut servir à entraîner de futurs modèles.

  2. La recherche

    La page est indexée pour être proposée et citée dans les réponses.

  3. La visite à la demande

    Un utilisateur demande à l’assistant de lire la page.

Refuser l’entraînement et accepter la recherche est un choix possible, et souvent celui des entreprises qui veulent être citées sans nourrir les modèles. OpenAI précise qu’un site qui refuse OAI-SearchBot n’apparaît pas dans les réponses de recherche de ChatGPT. Pour Google, la règle est plus simple : sa page sur les fonctionnalités d’IA indique qu’une page doit être indexée et pouvoir s’afficher avec un extrait, sans exigence technique supplémentaire.

Le robots.txt servi n’est pas toujours celui du dépôt

Attention

Un client l’a découvert à l’audit

Sur Palmora Property, une agence immobilière à Phuket que nous accompagnons, le robots.txt du dépôt autorisait tout le monde. Celui réellement servi commençait par un bloc ajouté par la couche réseau, absent du code, qui refusait GPTBot, ClaudeBot, CCBot et Google-Extended. L’audit du 22 juillet 2026 l’a relevé, et le réglage a été désactivé le jour même. L’épisode est raconté en détail dans notre article sur la citation par ChatGPT.

La leçon vaut pour tous les sites : un réseau de diffusion, un pare-feu applicatif ou une option « protection contre les robots » agissent avant votre site. On vérifie donc l’adresse de production, pas le fichier qu’on a écrit. Notre article sur ce qu’un proxy comme Cloudflare protège revient sur ces réglages faits en votre nom.

Un texte présent dans le HTML

Un robot lit ce que le serveur lui envoie. Si le texte de la page n’apparaît qu’après l’exécution du JavaScript dans un navigateur, un robot qui n’exécute pas le JavaScript voit une page vide. C’est le cas de la plupart des robots d’IA, selon l’étude publiée par Vercel le 17 décembre 2024 :

Les résultats montrent de façon constante qu’aucun des grands robots d’IA n’exécute aujourd’hui le JavaScript.

Vercel, The rise of the AI crawler, décembre 2024, traduit de l’anglais

L’étude note une exception : Gemini s’appuie sur l’infrastructure de Googlebot, qui exécute le JavaScript. Sa recommandation tient en une phrase : rendre côté serveur tout contenu important. C’est précisément ce que fait un site statique : chaque page est fabriquée à la publication et envoyée complète, titre, texte, listes et liens compris. Le JavaScript reste possible pour ce qui n’est pas du contenu, comme un formulaire ou un compteur.

Le test prend une minute : afficher le code source de la page (et non l’inspecteur du navigateur) et y chercher une phrase du texte. Si elle n’y est pas, les robots qui n’exécutent pas le JavaScript ne la voient pas non plus.

Une page, une question, une réponse en tête

Un assistant cite un passage qui répond, pas une page qui tourne autour du sujet. La structure aide : un titre qui pose la question, une réponse autonome dans les premières lignes, des intertitres qui découpent les sous-questions, des listes quand il y a des étapes ou des critères.

Sur le terrain

Ce que nous faisons sur ce blog

Chaque article de ce blog porte, sous son titre, une réponse directe qui se lit seule. C’est un champ obligatoire du schéma des articles : un article sans elle ne se construit pas, et un contrôle signale toute réponse hors de 40 à 60 mots. Les liens vers les sources deviennent des notes numérotées, listées en fin d’article.

Cette discipline sert d’abord le lecteur pressé. Qu’elle serve aussi les assistants n’est pas un hasard : les deux cherchent la même chose, une réponse claire et vérifiable.

Des faits datés, sourcés et cohérents

Une affirmation sans date ni source est difficile à reprendre pour un assistant comme pour un journaliste. Trois habitudes rendent un texte réutilisable :

  • Dater. La date de publication et celle de la dernière mise à jour, visibles sur la page.
  • Sourcer. Un chiffre renvoie à sa source, à l’endroit où il apparaît.
  • Rester cohérent. Google rappelle que les données structurées doivent correspondre au texte visible de la page, et qu’aucun balisage schema.org particulier n’est requis pour ses fonctionnalités d’IA.

Une adresse stable par sujet

Un assistant qui a lu une page doit pouvoir la retrouver. Une adresse qui change sans redirection perd ce qui avait été lu et cité ; deux pages qui traitent le même sujet se font concurrence. L’étude de Vercel recommande d’ailleurs des adresses propres et un plan du site à jour. Sur un site statique, le plan du site se génère à chaque construction avec les vraies dates de modification, comme sur ce site depuis août 2026, et chaque langue peut avoir sa propre adresse, comme l’explique notre article sur le site multilingue.

  1. Lire le robots.txt servi

    À l’adresse de production, et décider robot par robot.

  2. Chercher une phrase du texte

    Dans le code source de trois pages clés.

  3. Relire les premières lignes

    De ces pages : répondent-elles à la question du titre ?

  4. Vérifier les dates et les sources

    Visibles sur la page.

  5. Contrôler le plan du site

    Toutes les pages utiles, aucune adresse redirigée.

Un fichier llms.txt peut venir en plus, une fois la structure stabilisée ; notre article sur llms.txt dit ce qu’on peut en attendre.

Le reste du chantier

La lisibilité par les IA dépend de toute la construction du site. L’outil choisi décide de ce qui est servi en HTML (Astro ou WordPress, Webflow, Framer ou Astro), et la vitesse compte pour les robots comme pour les visiteurs (les Core Web Vitals). Une page vide reste vide pour un assistant, qu’elle vise une ville ou un secteur (quand ces pages aident), et une refonte se prépare page par page (garder, fusionner, supprimer) avec ses redirections 301. L’hébergement (Cloudflare, Netlify ou un VPS, héberger en Europe), le formulaire (sur un site statique) et le budget (combien coûte un site) suivent. Côté rédaction : Markdown ou CMS, Astro et Sanity en headless, modifier son site en le demandant à l’IA et dire qu’un texte a été écrit par une IA. Une page accessible est aussi plus lisible par une machine (l’obligation de 2025), un site sans contenu utile ne génère pas de demandes (les cinq blocs), et un WordPress compromis met en jeu ce que lisent visiteurs et robots (site piraté).

Notre migration vers un site statique avec Astro livre des pages complètes en HTML, à adresses conservées, avec un plan du site généré à chaque publication.

Questions fréquentes

Faut-il autoriser tous les robots d’IA ?

Non, il faut décider. Les robots d’entraînement, comme GPTBot ou ClaudeBot, servent à entraîner les modèles ; les robots de recherche, comme OAI-SearchBot ou Claude-SearchBot, servent à citer les pages dans les réponses. Beaucoup d’entreprises refusent les premiers et acceptent les seconds. L’important est que ce choix soit écrit dans le robots.txt réellement servi, et vérifié à l’adresse de production.

Mon site en React est-il invisible pour les IA ?

S’il affiche son texte uniquement après l’exécution du JavaScript dans le navigateur, la plupart des robots d’IA ne le voient pas, selon l’étude de Vercel de décembre 2024. Un rendu côté serveur ou une génération statique des pages règle le problème sans changer l’apparence du site. Vérifiez en cherchant une phrase du texte dans le code source de la page.

Les données structurées aident-elles à être cité ?

Elles aident les moteurs à comprendre la page, à condition de décrire ce qui est visible. Google précise qu’aucun balisage schema.org particulier n’est nécessaire pour ses fonctionnalités d’IA, et qu’il faut que les données structurées correspondent au texte affiché. Elles ne remplacent ni une réponse claire en tête de page, ni des faits datés et sourcés.

Un fichier llms.txt suffit-il à rendre un site lisible par les IA ?

Non. C’est un sommaire facultatif à la racine du site, qui oriente les agents qui lisent un site à la demande. Google écrit qu’aucun fichier spécial n’est nécessaire pour ses fonctionnalités d’IA. Un llms.txt ne compense ni un robot refusé, ni un texte invisible sans JavaScript, ni une page qui ne répond pas à sa question.

Sources

  1. OpenAI, robots d’exploration et agents utilisateurs (nouvel onglet)developers.openai.com
  2. Anthropic, centre d’aide : les robots d’Anthropic (nouvel onglet)support.claude.com
  3. Google Search Central, fonctionnalités d’IA et votre site (nouvel onglet)developers.google.com
  4. Vercel, The rise of the AI crawler, 17 décembre 2024 (nouvel onglet)vercel.com
Source 1

OpenAI, robots d’exploration et agents utilisateurs

Lire sur developers.openai.com(nouvel onglet)
Source 2

Anthropic, centre d’aide : les robots d’Anthropic

Lire sur support.claude.com(nouvel onglet)
Source 3

Google Search Central, fonctionnalités d’IA et votre site

Lire sur developers.google.com(nouvel onglet)
Source 4

Vercel, The rise of the AI crawler, 17 décembre 2024

Lire sur vercel.com(nouvel onglet)

Jim · fondateur de Brain Plus AI

À lire aussi en sites, migration et astro

  • Comprendre9 min Le guide du sujet

    Migrer vers un site statique avec Astro sans perdre son SEO

    Un site statique généré par Astro remplace un WordPress ou un Drupal vieillissant sans changer d'adresses : des pages en HTML pur servies par un CDN, aucun plugin à patcher, et une chaîne de publication avec retour arrière. Ce que ça change, comment on migre, et quand il ne faut pas le faire.

  • Choisir et chiffrer8 min

    Pages par ville ou secteur : quand elles aident ou nuisent

    Une page par ville ou par secteur peut amener des demandes qualifiées, ou faire passer tout le site pour une ferme à mots-clés. Ce que Google appelle une page satellite, les signes d'une page utile, et l'ordre dans lequel les écrire.

  • Comprendre9 min

    Site multilingue avec Astro : une langue, une adresse

    Un site multilingue tient sur une règle simple : chaque langue a sa propre adresse, et chaque page connaît ses traductions. Ce que la règle protège, ce qu'Astro fait pour la tenir, et les erreurs qui coûtent cher quand on l'oublie.

WhatsApp