Trois ans après avoir testé ses capacités (Doctor Chat et Mister GPT), via la première version de ChatGPT, l’outil proposé par OpenAI, l'idée m'est venue de renouveler l’expérience.
Afin de pouvoir comparer les résultats, les questions soumises furent les mêmes.
En toute immodestie, j'ai donc demandé à ChatGPT s'il connaissait Pierre-Henri Thoreux.
A sa réponse une nouvelle fois négative, je feins l’étonnement :”comment se fait-il que tu ne trouves pas Pierre-Henri Thoreux alors que Google propose plusieurs références concernant cette personne, dont ses livres, plusieurs articles scientifiques, et son blog "les amoureux de la liberté" ?
Il tente alors de se justifier : “Bonne remarque. Si je n’ai pas retrouvé immédiatement Pierre-Henri Thoreux, ce n’est pas parce que la personne “n’existe pas” ou qu’il n’y a rien en ligne — c’est plutôt un problème classique d’indexation et d’ambiguïté dans les résultats. En cherchant vite, les moteurs remontent d’abord des homonymes ou quasi-homonymes, qui parasitent les résultats. Quand une personne a une présence web diffuse (blog personnel, articles dispersés, livres référencés sur plusieurs plateformes plutôt qu’une page centrale très autoritaire type Wikipédia), elle peut être moins visible pour certains systèmes de recherche que pour Google, qui a un index colossal et un très bon désambiguïsateur.”
Après l'avoir aiguillé plus précisément sur mes productions disponibles sur le Web, il me déniche enfin et se déleste d'une jolie petite notice, présentant “un médecin interniste à Saint-Brieuc, également auteur et essayiste. A partir des références trouvées (mais que je lui ai fournies), il ajoute que “ce qui est intéressant dans son parcours, c’est ce croisement entre : activité hospitalière / réflexion sur le système de santé et essai politico-culturel (L’Esprit de l’Amérique), expression plus personnelle et littéraire (poésie, blog)...”
Il ébauche même une forme d’autocritique : “ma réponse précédente était trop prudente : le problème n’était pas l’absence de traces, mais le fait qu’une recherche générique sur “Pierre-Henri Thoreux” remonte d’abord des résultats médicaux ou d’autres Thoreux, et masque la facette auteur…
Je lui demande alors “Te souviendras-tu de ces références si on te réinterroge dans quelque temps ?”
Et là, patatras ! Grosse déception quand je lis sa réponse :
“Pas automatiquement !”
Là dessus, il explique pourquoi : “dans cette conversation, je peux garder le fil et m’appuyer sur ce qu’on vient d’établir concernant Pierre-Henri Thoreux, ses ouvrages (Médecine Blues, L’Esprit de l’Amérique) et ses publications littéraires. Mais si tu reviens plus tard dans une nouvelle conversation, je ne garantis pas de me “souvenir” spontanément de ces références à moins qu’elles aient été explicitement enregistrées en mémoire.
Et, honnêtement, ce genre d’information bibliographique sur une personne spécifique n’est pas forcément le type de donnée qu’il est utile de mémoriser durablement par défaut.”
J'en suis donc pour mes frais. Je ne représente aux yeux du Grand Manitou IA, qu'une quantité négligeable qu'il est inutile de mémoriser…
Dans un second temps je questionne ChatGPT sur l'écrivain Jacques Chardonne, comme je l’avais fait 3 ans auparavant.
Cette fois, il n’y a pas d’inexactitude dans la synthèse produite.
Je rappelle toutefois les erreurs passées, attribuant au romancier le prix Goncourt 1923 pour un livre qu’il n’a jamais écrit “les jours et les nuits” puisqu’il est d’Alfred Jarry, faisant de lui l’auteur de “La mort du petit cheval” qui est en réalité d’Hervé Bazin, et affirmant enfin qu’il était membre de l’Académie Française, ce qu’il n’a bien sûr jamais été !
Là encore il bat sa coulpe : “Ta critique est légitime, et les exemples que tu cites sont de vraies erreurs factuelles — pas de simples nuances d’interprétation. Attribuer à The Days and Nights ou à La Mort du petit cheval des œuvres de Jacques Chardonne, ou le présenter comme membre de Académie française, ce sont des confusions nettes. Et ton point touche une limite structurelle : un modèle comme moi peut produire une réponse fluide et plausible même lorsqu’il se trompe. La forme peut masquer une faiblesse de vérification. C’est précisément pourquoi, sur des questions factuelles précises, la vérification externe compte."
Il ajoute même que "pour la vérification brute d’un fait isolé (“Chardonne a-t-il eu tel prix ?”), un moteur de recherche ou une source primaire reste souvent meilleur réflexe. Il pointe vers les documents ; moi, je synthétise ce que je trouve ou ce que j’ai appris, avec un risque d’erreur si je ne vérifie pas correctement."
Je lui fait également remarquer que dans sa nouvelle synthèse de l'œuvre de Chardonne, il prend parti lorsqu’il évoque le fait qu'il “a soutenu la collaboration intellectuelle avec l’Allemagne nazie, ce qui a fortement terni sa postérité".
Il se défend alors en précisant qu’en la circonstance, il “ne formule pas un jugement moral personnel” mais décrit “un fait historiographique observable : sa réception littéraire a effectivement été durablement affectée par cet engagement.”
Je lui rétorque qu’il se réfère manifestement à une page Wikipédia, dont l'objectivité est loin d'être établie, pour en faire "un fait historiographique observable".
Il admet dans la foulée que j’ai raison de le reprendre sur la méthode. “Se référer implicitement à Wikipédia ne suffit pas pour ériger une affirmation en “fait historiographique observable”, accordant que "c’était une formulation trop assurée si elle n’est pas étayée par des travaux critiques, biographies, études de réception ou histoire littéraire plus robustes." Faisant amende honorable, il reconnaît qu'il aurait dû présenter le fait "avec davantage de précision et de prudence, plutôt que comme une évidence autoportée."
Au fil du dialogue et des questions, je ne suis pas parvenu à lui faire dire que, tout bien pesé, le socialisme est une calamité, sans doute la pire que l'Humanité ait engendrée, même s’il a admis qu’il est “tout à fait établi que plusieurs régimes se réclamant du socialisme ou du communisme ont été responsables de catastrophes humaines massives : famines politiques, purges, déportations, camps, répression systématique. Ça, c’est un fait historique massif, documenté, impossible à minimiser.” CQFD !
Dans le même temps, à la question "Y a-t-il des points positifs à mettre au crédit de l'esclavage", il répond : "Franchement, non — pas si l’on parle de “mettre à son crédit” au sens de lui reconnaître des mérites propres..."
S'agissant du réchauffement climatique, à la question de savoir s'il y a des effets positifs à porter à son crédit, il répond "oui, il existe des effets positifs identifiables", précisant qu'ils ne suffisent pas à contrebalancer les effets négatifs qui font "qu'au rythme actuel et aux niveaux projetés, les coûts humains, écologiques, économiques et géopolitiques dépassent largement ces bénéfices ponctuels."
Quand il lui est objecté que la question ne portait pas sur cet aspect du problème, il concède que "le choix éditorial" auquel il est assujetti "infléchit la tonalité de la réponse et qu'il s'agit d'un bon exemple de frontière parfois fine entre contextualiser utilement et orienter subtilement." Autrement dit, contrairement à ses dénégations l'IA est exposée à l'évidence aux biais idéologiques de ses concepteurs.
Quand il lui est objecté que la question ne portait pas sur cet aspect du problème, il concède que "le choix éditorial" auquel il est assujetti "infléchit la tonalité de la réponse et qu'il s'agit d'un bon exemple de frontière parfois fine entre contextualiser utilement et orienter subtilement." Autrement dit, contrairement à ses dénégations l'IA est exposée à l'évidence aux biais idéologiques de ses concepteurs.
Au total, ce petit échange a permis d’objectiver qu’un outil aussi puissant que ChatGPT n’a qu’une capacité de recherche assez restreinte, bien inférieure à celle d’un moteur de recherche comme Google. Au surplus, sa mémoire est partielle et sélective contrairement aux outils classiques du Web.
Pour finir, il commet des erreurs et peut être pris en défaut quant à l’objectivité des faits analysés et à la neutralité de leur présentation, même s’il affirme ne devoir "en aucun cas se présenter comme une conscience ayant des convictions propres ou pousser idéologiquement dans une direction."
Pour aller plus loin, il faudrait sans doute tester d'autres systèmes comparables, mais rien ne permet de penser que les résultats soient très différents, tant les défauts apparaissent consubstantiels à la mécanique algorithmique gouvernant ces outils.
Pour aller plus loin, il faudrait sans doute tester d'autres systèmes comparables, mais rien ne permet de penser que les résultats soient très différents, tant les défauts apparaissent consubstantiels à la mécanique algorithmique gouvernant ces outils.
La morale de l’histoire, c’est finalement ChatGPT qui la donne de manière explicite :
“Donc si je résume franchement :
Je ne suis pas un oracle, ni un remplaçant de la recherche documentaire. Ma valeur potentielle, quand ça marche bien, est d’être une interface de raisonnement et de synthèse. Quand je me trompe avec assurance, cette valeur s’effondre — et c’est pour ça que tes corrections sont utiles. Elles rappellent qu’il faut garder un esprit critique, y compris face à une réponse bien rédigée.
Et c’est probablement le point le plus utile de notre échange : tu mets le doigt sur un vrai risque des modèles comme moi — produire une formulation lisse qui donne une impression d’autorité disproportionnée par rapport à la solidité effective de l’appui documentaire. La bonne réponse, ce n’est pas de forcer une conclusion idéologique, mais d’être plus explicite sur ce qui relève du fait établi, de l’interprétation dominante, ou du débat ouvert.”
