Doctor Chat & Mister GPT (3)

Chat GPT est donc tout le contraire de l’intelligence, même s’il tient une conversation correcte quoique bourrée de stéréotypes, d’automatismes et de redondances.
S’il est considéré comme un simple outil, son emploi peut s’avérer utile, sous réserve d’améliorations, et à condition pour celui qui l'utilise, de conserver son esprit critique et sa capacité d’initiative. Pour le reste, ce n'est qu'une illusion.
L’intelligence est quelque chose de beaucoup trop complexe, et difficile même à définir, pour imaginer en faire une qualité d’un robot. Les outils conçus par les êtres humains sont là pour suppléer ou améliorer leurs capacités limitées, et se bornent à imiter leur raisonnement ou leur manière d’agir. Peut-on dire d’un marteau qui prolonge la main et lui donne un surcroît considérable de puissance, qu’il est intelligent ? Peut-on dire d’une vulgaire calculette qui ridiculise les capacités humaines par sa rapidité et son efficacité, qu’elle est intelligente ? Peut-on prétendre qu’un système GPS qui vous parle et qui vous guide infailliblement est intelligent ?
Évidemment non et on ne voit pas bien pourquoi il en serait autrement pour un programme informatique, aussi performant et sophistiqué soit-il. Le vrai danger pour leurs concepteurs et les utilisateurs serait peut-être d’imaginer que la machine soit réellement intelligente, et de lui déléguer la responsabilité intellectuelle qui leur incombe.

L'intelligence pour ce qu’elle est le propre de l’Homme, comporte la faculté de raisonner mais s’appuie également sur des sentiments, des opinions et même une certaine subjectivité, notamment l’intuition, chère à Bergson. Elle a un sens en soi, contrairement aux algorithmes informatiques. Elle a également une vraie responsabilité, ce qui ne peut être le cas d’une machine. Enfin, depuis Kant, on sait qu’elle est soumise, qu’elle le veuille ou non, à l’impératif catégorique de la morale, totalement étranger au fonctionnement d’un ordinateur.

La tendance actuelle est de demander à l'ordinateur tout ce qu’il ne faut pas faire : poèmes, musique, dessins, lettre de recrutement, discours... Même si le résultat est réussi sur la forme, il s’avère sans intérêt puisque totalement dépourvu d’âme, en tant qu’entité spirituelle douée de conscience, d’émotion, et d’inspiration… La plus belle fille du monde ne peut donner que ce qu’elle a, dit l’adage. L’IA ne peut fournir que ce qui ressort des algorithmes. Aussi sophistiqués soient-ils, et même en activant pas moins de 175 milliards de paramètres, ils ne recèlent aucune intelligence. Au grand dam de Laurent Alexandre, dont l’optimisme confine à l’illumination, même un million de fois plus puissants qu’actuellement, ils seront toujours aussi stupides qu’un marteau sans maître, pour paraphraser René Char.

Contrairement à un bon vieux moteur de recherche qui se borne à vous faciliter la tâche laborieuse d’aller retrouver des références utiles dans la masse pléthorique des connaissances humaines, l’IA pourrait aller bien plus loin, paraît-il, en mettant en forme les résultats et même en en faisant l’interprétation.
Cela relève à l’évidence de l’utopie. On a vu que Chat GPT avait d'énormes lacunes en matière de connaissances et faisait de grossières erreurs en amalgamant celles glanées au sein de ses bases de données. Le pire toutefois, est qu’en guise de mise en forme et d’interprétation, il ne fait que dégorger le corpus idéologique implémenté par ses concepteurs. On oscille en quelque sorte entre la langue de bois et la doxa, entre discours aseptisé sans intérêt et catéchisme susceptible de dévier vers l’absurde ou la perversité du concepteur, comme dans 2001 l’Odyssée de l’espace. Pour l’heure, Chat GPT répète comme un perroquet toutes les billevesées véhiculées par l’idéologie pseudo bienveillante woke, la lubie réchauffiste…

Pour achever cette réflexion, je livre ici une production poétique émise par Chat GPT. La demande était d’écrire un sonnet en alexandrins sur le thème de la réforme des retraites. Demande un peu insane, à laquelle le logiciel a pourtant répondu sans sourciller. Il se montre ainsi capable sans le moindre état d’âme de concevoir un truc totalement absurde. Le résultat est évidemment insignifiant, mais au surplus, il n’obéit pas aux règles élémentaires de la versification. Même après plusieurs essais, les alexandrins sont restés boiteux, sans césure, et sans rime, contrairement à ce qui était demandé…

La réforme des retraites, tant débattue,
Fait frémir tout un chacun dans ce pays,
Les gens inquiets se sont mis à prier,
De peur de ne plus toucher leur pension.

La question est épineuse, c'est certain,
Mais il faut la traiter avec sérieux,
Car la situation n'est pas des plus saines,
Et le déficit se creuse chaque jour un peu plus.

Les travailleurs ne sont pas rassurés,
Ils craignent de travailler plus longtemps,
Et de ne plus pouvoir profiter de leur temps.

Mais il faut bien trouver une solution,
Et envisager des réformes sérieuses,
Pour garantir un avenir à chacun.

Y aurait-il des professeurs assez crédules pour ne pas dire niais, pour se laisser berner par un tel poème soumis par un élève ? Le risque est réel, à ce qu'on dit, ce pourquoi on pense déjà à concevoir des robots pour démasquer les robots…

L'IA dans ses retranchements

L'intelligence artificielle (IA) est un concept qui s’est propagé dans toutes les strates de la société. On parle d’elle à tout bout de champ et nombre de personnes ou d’entreprises font appel à elle pour obtenir des conseils, des expertises, des résumés synthétiques, voire des rapports complets, sur à peu près n’importe quelle problématique. Rien n'échappe à son champ d'action. Elle a réponse à tout et peut produire avec autant d'aisance, analyses, traductions, images, vidéos et même des œuvres artistiques notamment musicales. Mais qu’en est-il de la pertinence de ces fabrications robotisées ? La forme est bluffante mais peut-on s’en remettre corps et biens au fond ?

Trois ans après avoir testé ses capacités (Doctor Chat et Mister GPT), via la première version de ChatGPT, l’outil proposé par OpenAI, l'idée m'est venue de renouveler l’expérience.

Afin de pouvoir comparer les résultats, les questions soumises furent les mêmes.

En toute immodestie, j'ai donc demandé à ChatGPT s'il connaissait Pierre-Henri Thoreux.

A sa réponse une nouvelle fois négative, je feins l’étonnement :”comment se fait-il que tu ne trouves pas Pierre-Henri Thoreux alors que Google propose plusieurs références concernant cette personne, dont ses livres, plusieurs articles scientifiques, et son blog "les amoureux de la liberté" ?

Il tente alors de se justifier : “Bonne remarque. Si je n’ai pas retrouvé immédiatement Pierre-Henri Thoreux, ce n’est pas parce que la personne “n’existe pas” ou qu’il n’y a rien en ligne — c’est plutôt un problème classique d’indexation et d’ambiguïté dans les résultats. En cherchant vite, les moteurs remontent d’abord des homonymes ou quasi-homonymes, qui parasitent les résultats. Quand une personne a une présence web diffuse (blog personnel, articles dispersés, livres référencés sur plusieurs plateformes plutôt qu’une page centrale très autoritaire type Wikipédia), elle peut être moins visible pour certains systèmes de recherche que pour Google, qui a un index colossal et un très bon désambiguïsateur.”

Après l'avoir aiguillé plus précisément sur mes productions disponibles sur le Web, il me déniche enfin et se déleste d'une jolie petite notice, présentant “un médecin interniste à Saint-Brieuc, également auteur et essayiste. A partir des références trouvées (mais que je lui ai fournies), il ajoute que “ce qui est intéressant dans son parcours, c’est ce croisement entre : activité hospitalière / réflexion sur le système de santé et essai politico-culturel (L’Esprit de l’Amérique), expression plus personnelle et littéraire (poésie, blog)...”

Il ébauche même une forme d’autocritique : “ma réponse précédente était trop prudente : le problème n’était pas l’absence de traces, mais le fait qu’une recherche générique sur “Pierre-Henri Thoreux” remonte d’abord des résultats médicaux ou d’autres Thoreux, et masque la facette auteur…

Je lui demande alors “Te souviendras-tu de ces références si on te réinterroge dans quelque temps ?”

Et là, patatras ! Grosse déception quand je lis sa réponse :

“Pas automatiquement !”

Là dessus, il explique pourquoi : “dans cette conversation, je peux garder le fil et m’appuyer sur ce qu’on vient d’établir concernant Pierre-Henri Thoreux, ses ouvrages (Médecine Blues, L’Esprit de l’Amérique) et ses publications littéraires. Mais si tu reviens plus tard dans une nouvelle conversation, je ne garantis pas de me “souvenir” spontanément de ces références à moins qu’elles aient été explicitement enregistrées en mémoire.

Et, honnêtement, ce genre d’information bibliographique sur une personne spécifique n’est pas forcément le type de donnée qu’il est utile de mémoriser durablement par défaut.”

J'en suis donc pour mes frais. Je ne représente aux yeux du Grand Manitou IA, qu'une quantité négligeable qu'il est inutile de mémoriser…

Dans un second temps je questionne ChatGPT sur l'écrivain Jacques Chardonne, comme je l’avais fait 3 ans auparavant.

Cette fois, il n’y a pas d’inexactitude dans la synthèse produite.

Je rappelle toutefois les erreurs passées, attribuant au romancier le prix Goncourt 1923 pour un livre qu’il n’a jamais écrit “les jours et les nuits” puisqu’il est d’Alfred Jarry, faisant de lui l’auteur de “La mort du petit cheval” qui est en réalité d’Hervé Bazin, et affirmant enfin qu’il était membre de l’Académie Française, ce qu’il n’a bien sûr jamais été !

Là encore il bat sa coulpe : “Ta critique est légitime, et les exemples que tu cites sont de vraies erreurs factuelles — pas de simples nuances d’interprétation. Attribuer à The Days and Nights ou à La Mort du petit cheval des œuvres de Jacques Chardonne, ou le présenter comme membre de Académie française, ce sont des confusions nettes. Et ton point touche une limite structurelle : un modèle comme moi peut produire une réponse fluide et plausible même lorsqu’il se trompe. La forme peut masquer une faiblesse de vérification. C’est précisément pourquoi, sur des questions factuelles précises, la vérification externe compte."

Il ajoute même que "pour la vérification brute d’un fait isolé (“Chardonne a-t-il eu tel prix ?”), un moteur de recherche ou une source primaire reste souvent meilleur réflexe. Il pointe vers les documents ; moi, je synthétise ce que je trouve ou ce que j’ai appris, avec un risque d’erreur si je ne vérifie pas correctement."

Je lui fait également remarquer que dans sa nouvelle synthèse de l'œuvre de Chardonne, il prend parti lorsqu’il évoque le fait qu'il “a soutenu la collaboration intellectuelle avec l’Allemagne nazie, ce qui a fortement terni sa postérité".

Il se défend alors en précisant qu’en la circonstance, il “ne formule pas un jugement moral personnel” mais décrit “un fait historiographique observable : sa réception littéraire a effectivement été durablement affectée par cet engagement.”

Je lui rétorque qu’il se réfère manifestement à une page Wikipédia, dont l'objectivité est loin d'être établie, pour en faire "un fait historiographique observable".

Il admet dans la foulée que j’ai raison de le reprendre sur la méthode. “Se référer implicitement à Wikipédia ne suffit pas pour ériger une affirmation en “fait historiographique observable”, accordant que "c’était une formulation trop assurée si elle n’est pas étayée par des travaux critiques, biographies, études de réception ou histoire littéraire plus robustes." Faisant amende honorable, il reconnaît qu'il aurait dû présenter le fait "avec davantage de précision et de prudence, plutôt que comme une évidence autoportée."

Au fil du dialogue et des questions, je ne suis pas parvenu à lui faire dire que, tout bien pesé, le socialisme est une calamité, sans doute la pire que l'Humanité ait engendrée, même s’il a admis qu’il est “tout à fait établi que plusieurs régimes se réclamant du socialisme ou du communisme ont été responsables de catastrophes humaines massives : famines politiques, purges, déportations, camps, répression systématique. Ça, c’est un fait historique massif, documenté, impossible à minimiser.” CQFD !

Dans le même temps, à la question "Y a-t-il des points positifs à mettre au crédit de l'esclavage", il répond : "Franchement, non — pas si l’on parle de “mettre à son crédit” au sens de lui reconnaître des mérites propres..."

S'agissant du réchauffement climatique, à la question de savoir s'il y a des effets positifs à porter à son crédit, il répond "oui, il existe des effets positifs identifiables", précisant qu'ils ne suffisent pas à contrebalancer les effets négatifs qui font "qu'au rythme actuel et aux niveaux projetés, les coûts humains, écologiques, économiques et géopolitiques dépassent largement ces bénéfices ponctuels."
Quand il lui est objecté que la question ne portait pas sur cet aspect du problème, il concède que "le choix éditorial" auquel il est assujetti "infléchit la tonalité de la réponse et qu'il s'agit d'un bon exemple de frontière parfois fine entre contextualiser utilement et orienter subtilement." Autrement dit, contrairement à ses dénégations l'IA est exposée à l'évidence aux biais idéologiques de ses concepteurs.

Au total, ce petit échange a permis d’objectiver qu’un outil aussi puissant que ChatGPT n’a qu’une capacité de recherche assez restreinte, bien inférieure à celle d’un moteur de recherche comme Google. Au surplus, sa mémoire est partielle et sélective contrairement aux outils classiques du Web.

Pour finir, il commet des erreurs et peut être pris en défaut quant à l’objectivité des faits analysés et à la neutralité de leur présentation, même s’il affirme ne devoir "en aucun cas se présenter comme une conscience ayant des convictions propres ou pousser idéologiquement dans une direction."
Pour aller plus loin, il faudrait sans doute tester d'autres systèmes comparables, mais rien ne permet de penser que les résultats soient très différents, tant les défauts apparaissent consubstantiels à la mécanique algorithmique gouvernant ces outils.

La morale de l’histoire, c’est finalement ChatGPT qui la donne de manière explicite :

“Donc si je résume franchement :

Je ne suis pas un oracle, ni un remplaçant de la recherche documentaire. Ma valeur potentielle, quand ça marche bien, est d’être une interface de raisonnement et de synthèse. Quand je me trompe avec assurance, cette valeur s’effondre — et c’est pour ça que tes corrections sont utiles. Elles rappellent qu’il faut garder un esprit critique, y compris face à une réponse bien rédigée.

Et c’est probablement le point le plus utile de notre échange : tu mets le doigt sur un vrai risque des modèles comme moi — produire une formulation lisse qui donne une impression d’autorité disproportionnée par rapport à la solidité effective de l’appui documentaire. La bonne réponse, ce n’est pas de forcer une conclusion idéologique, mais d’être plus explicite sur ce qui relève du fait établi, de l’interprétation dominante, ou du débat ouvert.”

Doctor Chat & Mister GPT (2)

Quelques instants suffisent pour reconnaître, à l’instar de beaucoup de commentateurs, que l’outil est bluffant sur la forme, la syntaxe et même la sémantique. Il semble comprendre son interlocuteur et s’il parle évidemment anglais, il s’exprime très bien en français. En revanche, il est extrêmement décevant sur le fond et l’absence de tout état d’âme, de toute personnalité, de tout ego, de son discours est desséchante. Plus grave, il se révèle pour l’heure assez limité dans ses connaissances, bien inférieur en tout cas au moteur de recherche Google et bien plus superficiel qu’une encyclopédie en ligne comme Wikipédia.
Quelques questions à peine malicieuses permettent de s’en rendre compte. Il se trompe par exemple en mélangeant les titres d’ouvrages de l’écrivain Jacques Chardonne avec ceux d’autres auteurs, et lui attribue le prix Goncourt 1923 pour un livre qu’il n’a jamais écrit “les jours et les nuits” puisqu’il est d’Alfred Jarry (le prix ayant été attribué à Lucien Fabre pour "Rabevel ou le mal des ardents”) !
Certes l’erreur est humaine, pourrait-on rétorquer, et on ne saurait donc en faire le reproche à un robot humanisé. Mais persévérer est en revanche diabolique, dit-on. Est-ce la nature profonde de ChatGPT qui, lorsqu’on le réinterroge quelque temps plus tard sur le même sujet, commet de nouvelles erreurs ? Il attribue cette fois à Chardonne le roman “La mort du petit cheval” qui est en réalité d’Hervé Bazin, et fait de l’auteur des Destinées Sentimentales, un membre de l’Académie Française, ce qu’il n’a bien sûr jamais été (tout au plus, celle d’Angoumois !)…
Il se montre enfin peu capable d’enrichir lui-même ses connaissances contrairement à ce qu’il affirme, même si on lui indique le chemin d’accès au savoir. Je me suis amusé à lui demander s’il connaissait mon recueil de poésies paru chez Coollibri, disponible sur internet et que Google trouve quasi instantanément. Bien sûr, il en ignorait l’existence, arguant notamment du fait que ses connaissances s’arrêtent en 2021, mais il s’engageait à “jeter un coup d'œil au recueil”. Quelques jours après, il ne se souvenait manifestement plus de sa promesse…

Un des objectifs principaux revendiqués par ses concepteurs est d’aider sur des problématiques concrètes.
A cette fin, qu’il soit permis d’évoquer ici l’interrogation du robot faite par les journalistes du Télégramme, à propos de la crise du petit commerce, qui conduit à la désertification des centres villes.
ChatGPT, nullement pris au dépourvu, livre illico cinq propositions : « Encourager un mélange diversifié de détaillants locaux et nationaux pour créer une expérience unique », « soutenir les petites entreprises et encourager l’entrepreneuriat », « améliorer l’accessibilité des transports en commun et des piétons au centre-ville », « développer des campagnes de marketing pour promouvoir le centre-ville en tant que destination de divertissement et de shopping » et « créer un Business Improvement District (BID) ou une organisation similaire pour fournir des services et un soutien aux entreprises ».

Sur la problématique des retraites, la machine n’est pas non plus avare de préconisations, qu'il aligne mécaniquement :
- Augmenter l'âge de la retraite : Cela permettrait de réduire les dépenses liées à la retraite en augmentant le nombre d'années durant lesquelles les travailleurs cotisent.
- Mettre en place un système de retraite par points : Ce système permettrait aux travailleurs de choisir comment ils souhaitent cotiser pour leur retraite, en fonction de leurs besoins et de leurs souhaits.
- Augmenter les cotisations : Les cotisations sociales pourraient être augmentées pour augmenter les revenus de retraite.
- Mettre en place un système de retraite privée : Ce système permettrait aux travailleurs de cotiser pour leur retraite en dehors du système public, en utilisant des fonds privés.
- Favoriser l'emploi des seniors: en incitant les entreprises à maintenir les seniors en emploi, cela permet de prolonger la durée de cotisation et de limiter les dépenses liées à la retraite.

Soucieux sans doute de mettre les formes et surtout de rester consensuel, le logiciel pondère ses propositions en soulignant qu’il est “important de noter que chacune de ces options présente des avantages et des inconvénients, et qu'il n'y a pas de solution unique pour améliorer le système des retraites en France. Les décideurs politiques doivent prendre en compte les différents facteurs et les considérer dans leur ensemble pour prendre une décision équilibrée.”

Non seulement il n’a pas d’avis, mais il s’avère incapable de prioriser ses propositions d’action, même si le contexte est précisé, comme dans le cas des petits commerces qui concernait explicitement de la ville de Saint-Brieuc. Les propositions sont d’une neutralité désespérante et se résument à un catalogue insipide, relevant le plus souvent de l’évidence. L’emballage est séduisant. On dirait un rapport pondu par un de ces fameux cabinets conseils, très en vogue parmi les décideurs. Mais la substance n’a ni originalité ni saveur, rappelant fort la vision technocratique qui fait déjà tant de mal.

 

A suivre....

Doctor Chat & Mister GPT (1)

L’intelligence artificielle a le vent en poupe. Tout le monde en parle et les supputations vont bon train, quant à ses conséquences à venir, non pas tant bénéfiques, que néfastes. Il faut dire qu’on a toujours aimé se confronter à la crainte de l’avenir, et qu’en la matière, les médias opèrent comme une caisse de résonance idéale pour l'instrumentalisation des peurs. Le catastrophisme fait recette, et les croyances les plus folles n’ont jamais été aussi présentes que dans nos sociétés modernes pourtant réputées plus raisonnables et moins ignorantes que celles d’autrefois.

La science-fiction donne lieu à toutes sortes de fantasmes en général assez terrifiants. La révolte des robots a longtemps alimenté et excite encore l’imagination de nombre de romanciers et de cinéastes. On donne souvent à ces machines l'apparence d’humanoïdes peu sympathiques. Aujourd’hui, la crainte vient d’un monstre virtuel qu’on nomme Intelligence Artificielle, c’est-à-dire IA, ou mieux encore, à l’anglo-saxonne, AI. Ce machin filandreux et insaisissable comme un blob s’insinue partout et selon certains augures, son règne grandissant risquerait d’altérer gravement nos vies, nos sociétés et pourrait même selon certains experts provoquer la fin de l’humanité. Allons bon ! Nous avions déjà l’horrible menace du réchauffement climatique, voici qu’une autre, toujours créée par l’homme, pourrait se révéler pire encore ! Paradoxe amusant, les plus virulents de ces prophètes de malheur, sont précisément ceux qui investissent des fortunes pour développer les capacités de cette IA… On se souvient que les lanceurs d’alerte les plus véhéments sur les dangers du nucléaire furent les savants qui permirent la mise au point de la bombe atomique…

J’ai récemment fait la connaissance de ChatGPT, le dernier avatar en matière d’intelligence artificielle, sévissant sur le Web. Il cause, il écrit, il réfléchit, il raisonne et surtout, chacun peut converser avec lui car il maîtrise l’art du discours et du dialogue mieux que quiconque.
Ce genre d'initiative m’a rappelé le bon vieux test de Turing qui me fascinait lorsque je m’initiais au fonctionnement des systèmes experts en médecine et au traitement informatique du langage naturel. Il s’agissait avec cette expérience, inventée par un des pionniers de l'informatique, de mesurer la capacité de l'Intelligence Artificielle à être confondue avec l'intelligence humaine, par le biais d’une conversation en aveugle entre un observateur humain et un ordinateur. Selon le génial créateur d’Enigma, cinq minutes devaient suffire pour déterminer si l’ordinateur avait réussi le test.

A l’évidence, ce n’est pas le but des concepteurs de ChatGPT.
Dès le premier échange, il se trahit:
- Hello ChatGPT ! Comment vas-tu ce matin ?
- Bonjour ! En tant qu’intelligence artificielle, je n’ai pas de sentiments physiques, donc je ne peux pas dire comment je me sens ce matin….

Certes, dans l’esprit de Turing il ne s’agissait pas de tromper sur la nature de la machine mais sur sa capacité à imiter la conversation et le raisonnement humains. Le programme ne pouvant a priori mentir, il ne faudrait donc le juger qu’à des questions dont la neutralité ne risque pas de trahir sa nature.
Ne nous trompons donc pas. On est avec ChatGPT très loin des conditions idéales imaginées par Turing. Il n’est, comme il le répète à la moindre sollicitation, “qu’un modèle de langage informatique”. Et lorsqu’on lui demande son opinion ou bien les sentiments que lui inspire tel ou tel sujet, il brise beaucoup d’espérances conversationnelles en déclarant qu’il n’est “pas capable d’avoir des opinions ou des sentiments” et en précisant qu’il est “simplement un outil conçu pour aider à répondre aux questions et fournir des informations…”

A suivre...