2026-08-13 · 2 min de lecture
Pourquoi une seule question posée à ChatGPT ne prouve rien
Un modèle de langage n'est pas déterministe : la même question donne trois réponses différentes. Sans répétition, un test de visibilité IA n'est qu'une anecdote.
Le réflexe est bon : vous ouvrez ChatGPT, vous tapez « meilleur fournisseur de X en France », vous cherchez votre nom. Il n'y est pas. Ou il y est.
Dans les deux cas, vous ne savez rien.
Le même prompt, trois réponses
Un modèle de langage échantillonne. À chaque génération, il choisit parmi plusieurs continuations plausibles selon une distribution de probabilités. Ce n'est pas un bug, c'est le fonctionnement normal : la même question posée trois fois de suite produit trois réponses différentes, avec des marques différentes.
Ajoutez la recherche web, et la variance grimpe encore : les pages consultées ne sont pas exactement les mêmes d'un appel à l'autre.
Autrement dit, votre test unique a mesuré un tirage. Pas votre visibilité.
Ce que ça change en pratique
Imaginons une marque réellement recommandée dans 10 % des réponses de son marché. En posant une question une seule fois :
- neuf fois sur dix, vous concluez « je suis invisible » ;
- une fois sur dix, vous concluez « tout va bien ».
Les deux conclusions sont fausses. La bonne réponse — 10 % — n'apparaît qu'en répétant.
Le même raisonnement s'applique à l'inverse : une marque bien installée peut disparaître d'une réponse sur trois. Un dirigeant qui teste au mauvais moment prend une décision coûteuse sur du bruit.
Trois passes, trois modèles
Notre protocole tient en trois règles, et chacune corrige une source d'erreur précise.
Trois passes par question neutralisent la variance du modèle. Ce n'est pas beaucoup — statistiquement, plus serait mieux — mais c'est le seuil à partir duquel on distingue un signal d'un accident, sans faire exploser le coût.
Trois assistants neutralisent le biais d'un modèle. Perplexity, ChatGPT et Claude ne lisent pas les mêmes sources et ne recommandent pas les mêmes marques. Mesurer sur un seul revient à confondre un moteur avec le marché.
Quarante questions neutralisent le biais de formulation. « Où acheter X » et « quel site pour trouver X » ne déclenchent pas les mêmes réponses. Une seule question, même répétée, ne mesure qu'un angle d'attaque.
Quarante questions, trois modèles, trois passes : 360 mesures. À ce volume, un taux de citation devient lisible, et un écart entre deux modèles devient interprétable.
La règle qui rend tout le reste valide
Une dernière condition, la plus importante : aucune question ne doit contenir votre nom.
Si vous demandez « que penses-tu de la marque Untel ? », l'IA parlera d'Untel. Évidemment. Vous n'aurez mesuré que sa capacité à décrire une marque qu'on lui a soufflée — pas sa propension à la recommander spontanément.
Toutes nos questions sont formulées du point de vue d'un acheteur qui ne vous connaît pas encore : « où acheter… », « quel fournisseur pour… », « quelle alternative à… ». C'est la seule façon d'obtenir un chiffre qui veut dire quelque chose.