Que dit ChatGPT de mon entreprise ? Cela dépend du mode utilisé

Deux clients potentiels s'intéressent à votre entreprise le même jour. Le premier ouvre ChatGPT et pose sa question : la réponse décrit une activité que vous avez arrêtée il y a deux ans et cite une adresse que vous avez quittée. Le second pose exactement la même question, quelques heures plus tard, et obtient une description à jour, cohérente avec votre site actuel. Ni l'un ni l'autre ne saura jamais pourquoi. Vous non plus, si vous ne l'avez pas vérifié. Cette différence n'a rien d'un caprice : elle tient à une caractéristique propre à ce type d'assistant, à savoir qu'une même question peut être traitée de deux façons très différentes selon le mode dans lequel la conversation se déroule. Et cette caractéristique a une conséquence directe et souvent sous-estimée pour un dirigeant : vérifier une seule fois, dans un seul mode, ne prouve à peu près rien.

Deux façons très différentes de construire une réponse

ChatGPT peut, selon le mode, répondre à partir de ce qu'il a appris pendant son entraînement, ou aller chercher de l'information sur le web au moment même où on l'interroge. Ce sont deux régimes de réponse qui n'ont pas grand-chose en commun du point de vue de ce qui vous concerne. Dans le premier cas, la réponse s'appuie sur une mémoire constituée à un moment donné : elle est fluide, assurée, souvent bien tournée, mais elle décrit un état du monde qui date de la période où le modèle a été entraîné. Si votre entreprise a changé de nom, de local, d'offre ou de positionnement depuis, rien ne garantit que ce changement soit reflété. Dans le second cas, la réponse est construite à partir de pages consultées sur le moment : elle reflète davantage ce qui est publié en ligne aujourd'hui, avec la fraîcheur que cela suppose, mais aussi les défauts de ce qui traîne sur le web à votre sujet, y compris une fiche d'annuaire abandonnée ou un vieil article encore bien référencé.

Il serait présomptueux de prétendre décrire précisément la logique interne qui décide de basculer d'un régime à l'autre : ces mécanismes appartiennent à l'éditeur et évoluent au fil des versions. Ce qu'un dirigeant peut constater, en revanche, est parfaitement observable de l'extérieur : il arrive qu'une même question, posée dans deux conversations différentes, produise deux réponses dont l'une semble figée sur un état ancien et l'autre nettement plus actuelle. Ce n'est pas une anomalie à signaler, c'est une propriété du fonctionnement de l'outil, avec laquelle il faut composer.

Comment reconnaître de quel régime relève une réponse

Sans accéder aux coulisses du modèle, quelques indices permettent souvent de se faire une idée de la nature de la réponse qu'on a sous les yeux.

• La présence ou l'absence de références vers des pages consultées. Une réponse qui renvoie vers des sources identifiables a de fortes chances de s'appuyer sur le web au moment de la question ; une réponse formulée sans aucune référence relève plus probablement de la mémoire d'entraînement.
• La fraîcheur des éléments cités. Une réponse qui mentionne un changement récent, une publication des dernières semaines ou un élément qui n'existait pas il y a peu s'appuie forcément sur autre chose qu'une mémoire figée.
• Le type d'erreur constaté. Une information périmée mais qui a été exacte à une époque évoque plutôt une mémoire ancienne ; une reprise fidèle d'une page obsolète encore en ligne évoque plutôt une lecture du web actuel.
• Le degré de précision. Une réponse très générique, qui pourrait s'appliquer à n'importe quelle entreprise de votre secteur, suggère souvent que le modèle comble un manque plutôt qu'il ne restitue une source précise.

Ces indices ne constituent jamais une preuve, et il ne faut pas les transformer en certitude. Ils suffisent néanmoins à faire comprendre l'essentiel : ce que vous lisez à un instant donné n'est pas « la position de ChatGPT sur votre entreprise », c'est une réponse parmi plusieurs possibles.

Le piège du test unique

C'est là que la difficulté devient concrète pour un dirigeant. Le réflexe naturel, quand on entend parler de réputation dans les IA, consiste à ouvrir ChatGPT un soir, à taper le nom de son entreprise, à lire la réponse, et à en tirer une conclusion. Si la réponse est correcte, le soulagement est immédiat et le sujet se referme aussitôt : tout va bien, l'IA me connaît, on passe à autre chose. Le problème, c'est que cette conclusion repose sur un seul point de mesure, obtenu dans un seul régime de réponse, sur une seule formulation, à un seul moment. Rien n'indique que le client qui posera la même question demain, depuis un autre appareil et dans une autre conversation, obtiendra la même chose.

Le cas inverse existe aussi, et il est tout aussi trompeur. Un dirigeant tombe sur une réponse erronée, s'en alarme, et en conclut que « ChatGPT raconte n'importe quoi » sur son entreprise, alors qu'il vient peut-être d'observer une réponse construite sur une mémoire ancienne, pendant qu'une réponse plus actuelle circule par ailleurs. Dans les deux sens, le raisonnement est le même et l'erreur est la même : on généralise un instantané. Or un instantané ne dit rien de la stabilité de ce qui se dit de vous, ni de la proportion de vos prospects qui verront l'une ou l'autre version.

Cette incertitude a une implication pratique qu'il vaut mieux accepter d'emblée : ce n'est pas une réponse unique qu'il faut chercher à obtenir, mais une vision d'ensemble de ce que ChatGPT est susceptible de dire de vous selon les circonstances. La bonne question n'est pas « qu'a répondu l'IA ce soir-là », c'est « quelles sont les versions de mon entreprise qui circulent, et laquelle risque le plus d'atterrir devant un client ».

Une méthode de vérification qui tient compte de cette variabilité

Puisqu'une réponse isolée ne prouve rien, l'objectif d'une vérification manuelle est de multiplier les points de mesure plutôt que d'en chercher un seul qui serait « le bon ».

• Posez la même question dans plusieurs conversations distinctes plutôt que d'enchaîner les questions dans un même fil, où l'échange précédent influence forcément la suite.
• Variez les formulations : une question factuelle (« que sais-tu de [nom] à [ville] ? »), une question de recommandation, une question sur vos tarifs ou vos horaires. Chaque angle peut mobiliser des ressources différentes et faire apparaître une version différente de votre entreprise.
• Notez à chaque fois la date, la formulation employée, la présence ou l'absence de sources citées, et la réponse obtenue. C'est en comparant ces relevés entre eux, et non en lisant une réponse isolée, que les écarts significatifs deviennent visibles.
• Recommencez à intervalles réguliers. Une information exacte ce mois-ci peut redevenir approximative le mois suivant, sans qu'aucun événement visible de votre côté ne l'explique, simplement parce que les modèles évoluent et que ce qui est publié en ligne à votre sujet change.

Cette méthode fonctionne, mais elle a un coût évident : répétée sérieusement, sur plusieurs formulations et dans la durée, elle demande une régularité que très peu de dirigeants parviennent à tenir au-delà des premières semaines. C'est précisément la limite de la vérification manuelle sur ce sujet particulier : ce n'est pas l'effort d'un test qui pose problème, c'est celui de la répétition.

Remplacer l'instantané par une série de mesures

C'est exactement ce que le scan gratuit de Dopaguard permet de faire en premier lieu : interroger 3 IA en 3 minutes, sans carte bancaire, pour sortir du test unique et voir d'emblée si ce que vous avez lu un soir dans ChatGPT se confirme ailleurs ou relève d'un cas isolé. Un premier constat obtenu sur plusieurs modèles vaut toujours mieux qu'une impression tirée d'une seule conversation.

Mais sur ce sujet précis, c'est surtout la répétition qui a de la valeur. Parce qu'une réponse peut varier selon le mode dans lequel elle est produite, un seul relevé, aussi complet soit-il, reste un point isolé sur une courbe qu'on ne voit pas. La surveillance hebdomadaire de Dopaguard repose sur ce principe : chaque semaine, les mêmes questions sont reposées aux IA suivies selon votre formule, et chaque réponse est comparée à une fiche de vérité que vous avez validée vous-même. Les écarts remontent dans un digest hebdomadaire, avec une alerte immédiate pour les cas les plus critiques. L'intérêt n'est pas de savoir ce que ChatGPT a répondu un mardi soir, mais de voir apparaître ce qu'un test unique ne montrera jamais : une version ancienne de votre entreprise qui refait surface régulièrement, une information exacte qui se dégrade au fil des semaines, ou au contraire une correction qui finit par s'installer durablement dans les réponses.