UNE BULLE D’INTELLIGENCE ARTIFICIELLE ET DE STUPIDITÉ NATURELLE
by Ploum on 2024-04-04
https://ploum.net/2024-04-04-la-bulle-ai.html
La technologie derrière ChatGPT, Dall-E et autres n’est pas
révolutionnaire, elle est spectaculaire. C’est très différent. Et, comme
souvent, le spectaculaire attire une attention démesurée du grand public
par rapport aux capacités réelles de la technologie. C’est ce qu’on
appelle « une bulle ».
Et une bulle, ça finit toujours par imploser.
Mais en vrai, c’est quoi l’intelligence artificielle ?
======================================================
Rappelons qu’un logiciel est un ensemble d’instructions données à un
ordinateur par un programmeur pour donner un résultat (un « output »)
basé sur des paramètres modifiables (« l’input »). Un programme
« classique » est donc un programme qui donnera toujours un résultat
prévisible. Je vous expliquais d’ailleurs cela en détail dans un article
précédent.
L’histoire d’un bit (
ploum.net)
https://ploum.net/lhistoire-dun-bit/index.html
Ce que nous appelons « intelligence artificielle » est un ensemble de
techniques, parfois très diverses, pour qu’un logiciel puisse être
« entrainé ». Au lieu de définir exactement comment va fonctionner le
logiciel, on va lui fournir des « données d’apprentissage » pour qu’il
en tire une forme de moyenne statistique. Exemple : lui montrer des
photos de terroristes et des photos de gens innocents pour, ensuite,
tenter de voir s’il détecte des terroristes inconnus parmi une foule sur
laquelle on n’a aucune information.
Mais qui est responsable si le programme développé de cette manière
désigne un innocent comme terroriste et entraine son élimination par un
drone ? Le programmeur qui a développé l’algorithme ? Il n’avait pas
conscience du cadre d’utilisation, il a juste fait un logiciel pour
différencier deux types de personnes sur base de photos. Celui qui a
sélectionné les données et qui a « oublié » d’inclure des barbus parmi
les innocents ? Celui qui, à la base de tout ça, a imaginé qu’un
terroriste était reconnaissable à son visage ?
La fameuse intelligence artificielle, ce n’est que ça : des algorithmes
statistiques sont très utiles dans certains cas très spécifiques à
condition d’être très surveillés. Mais qui diluent toute responsabilité
en cas d’erreur.
Un algo de type ChatGPT ne fait pas autre chose : pour simplifier à
outrance, il prend à chaque fois le texte de la conversation et tente de
prédire quel mot a la plus grande probabilité de suivre. Il prend
littéralement tous les mots de son dictionnaire, les rajoute à la fin de
la phrase et évalue un score pour le texte résultant basé sur la moyenne
statistique calculée durant son apprentissage.
Si je lui demande :
Ploum: Quelle est la couleur d’un schtroumpf ?
Il va voir que, dans toutes ses données d’apprentissage, la suite de mot
« Quelle est la couleur de X ? La couleur de X est » est plus probable
que « Quelle est la couleur de X ? Banane volante à pistons ». Du coup,
il répond :
IA: La couleur de…
Ben oui, parce que ça fonctionne aussi pour la couleur d’un marsupilami
ou de n’importe quoi d’autre. C’est une des raisons qui fait que ChatGPT
ne vous répond pas platement « bleu » comme n’importe quel humain le
fait. Parce que dans ses données d’apprentissage apparait régulièrement
qu’une réponse commence souvent en reformulant sa question.
IA: La couleur d’un schtroumpf est…
Cette reformulation reprend des parties de la phrase. Ce n’est pas du
tout évident, mais cela donne l’impression que ChatGPT comprend ce qu’il
dit. C’est faux. C’est simplement le plus probable parmi les milliards
de possibilités de la langue française (ou de la langue schtroumpf).
IA: La couleur d’un schtroumpf est bleue
Parce que, dans tous les textes du corpus où apparait le mot
« schtroumpf », c’est le mot « bleu » qui revient le plus souvent et qui
est souvent associé avec le mot « couleur ».
Évidemment, ce qui est le plus probable n’est pas toujours ce qui a le
plus de sens. Les personnages générés par Dall-E ont, par exemple,
souvent bien plus de doigts que nécessaire. Pour une raison toute
simple : sur une image, la probabilité est très grande que ce qui est à
côté d’un doigt soit un autre doigt. En fait, si vous me montriez une
partie de photo représentant un doigt en me demandant de parier sur ce
qu’il y a juste à côté, j’aurais tout intérêt à répondre : « un autre
doigt ! ». Ce n’est pas une hallucination, c’est un résultat entièrement
logique, statistique !
Quelques exemples de poignées de mains générées par AI. Les doigts sont
innombrables.
https://ploum.net/files/ai_fingers.jpg
Des résultats techniques spectaculaires…
========================================
Nonobstant ce que nous appelons des « hallucinations » (un mot choisi à
dessein pour anthropomorphiser et rendre encore plus attirantes et
mystiques les IA), les résultats sont très impressionnants,
spectaculaires, imprévus. C’est un véritable show qui nous est offert
dont les hallucinations font intégralement partie.
À la base de tous les ChatGPT et consorts, on trouve une nouvelle
méthode de programmation appelée « Transformers » (oui, comme les robots
de mon enfance) inventée par 8 types chez Google (qui sont, depuis, tous
partis pour fonder leur startup AI sauf un qui a fondé une startup
blockchain).
[1706.03762] Attention Is All You Need (
arxiv.org)
https://arxiv.org/abs/1706.03762
Le papier décrivant la méthode est devenu un « landmark paper ». Pour
les spécialistes, il est bouleversant, car il introduit de nouvelles
techniques, de nouvelles perspectives. Mais, pour le grand public, il
n’est finalement qu’une énième optimisation (impressionnante, je le
répète) de méthodes de machine learning qui existent et s’améliorent
depuis 40 ans. La grosse révolution, outre une amélioration
significative des performances générales, c’est d’avoir permis une mise
en parallèle des calculs. Du coup, plutôt que de devoir sans cesse
optimiser des algorithmes ou créer des superordinateurs, on peut se
contenter de mettre beaucoup d’ordinateurs en parallèle. Beaucoup comme
dans « beaucoup beaucoup beaucoup ». Et donc multiplier les performances
des algorithmes existants. Ce qui est très cool mais, selon ma
définition, pas vraiment « révolutionnaire ».
8 Google Employees Invented Modern AI. Here’s the Inside Story
(
www.wired.com), visited on Mon Apr 1 20:51:01 2024
https://www.wired.com/story/eight-google-employees-invented-modern-ai-trans…
Ces améliorations de performances ont permis d’entrainer les algorithmes
sur des quantités astronomiques de données. De l’ordre de « tout ce qui
nous tombe sous la main ». Et de créer des produits attractifs pour le
grand public (ChatGPT, Dall-E, …) alors qu’à la base, l’algorithme
visait surtout à automatiser les traductions.
Un enthousiasme naïf qui l’est encore plus !
============================================
Si ces nouvelles techniques sont spectaculaires, la vitesse avec
laquelle les investisseurs et les entreprises se sont engouffrées dans
le buzz l’est encore plus. Comme le dit très bien Cory Doctorow, de
nombreuses boites AI se sont créées avec des technologies incapables de
remplacer un travailleur humain, mais avec une équipe marketing capable
de convaincre votre patron que c’est bien le cas.
Et chaque patron découvrant ChatGPT se sent soudain dans l’urgence
d’investir dans l’AI, de peur que le concurrent le fasse avant lui.
C’est parfois très con un CEO. Surtout quand ça a peur de rater le
coche.
Petit aparté : si vous apprenez l’existence d’une technologie à travers
la presse généraliste, c’est trop tard. C’est que vous êtes le dernier
couillon à en ignorer l’existence. Et c’est vous qui allez constituer la
dernière couche de la pyramide de ponzi qu’est la bulle spéculative sur
ce sujet. Bref, vous êtes le pigeon. Face à un enthousiasme exubérant
dans un domaine qui n’est pas le vôtre et sur lequel vous arrivez sur le
tard, il n’y a qu’une chose à faire : rien. Attendre que tout se tasse
et tirer les leçons des échecs ou réussites des uns ou des autres.
Se jeter dans la bulle AI, c’est un peu comme aller voir Titanic en
pariant qu’il ne va pas couler à la fin. D’ailleurs, ils sont déjà en
train de se casser la gueule : les fournisseurs d’AI ont dépensé 50
milliards de dollars pour des pelles, pardon des puces Nvidia et ont
fait… trois milliards de chiffre d’affaires. L’action Nvidia, elle, a vu
sa valeur multipliée par 9 en 15 mois. Comme dit le proverbe « Pour
s’enrichir durant une ruée vers l’or, vendez des pelles ! »
Tous les CEO qui ont investi dans l’AI commencent à se rendre compte que
c’est, en fait, très compliqué ce machin, qu’il y a peu de résultats,
qu’on ne peut pas faire confiance dans ces résultats et qu’ils ne
dorment plus la nuit par peur que des données privées soient exposées
par les AI ou qu’ils soient attaqués pour non-respect du copyright.
When Will the GenAI Bubble Burst? (
garymarcus.substack.com)
https://garymarcus.substack.com/p/when-will-the-genai-bubble-burst/
D’ailleurs, je vous alertais déjà l’année passée sur la problématique
d’utiliser des datas privées pour entrainer une IA et sur le fait que, à
un moment ou un autre, un petit malin arriverait à les faire ressortir.
Ou, du moins, à faire croire qu’il les a ressorties, même si ce sont des
hallucinations.
Modern AI and the end of privacy (
ploum.net)
https://ploum.net/2023-02-15-ai-and-privacy.html
La fin du film est encore plus prévisible qu’un Marvel du mois d’août :
les boites IA commencent à couler.
Stability AI reportedly ran out of cash to pay its AWS bills • The
Register (
sebsauvage.net)
https://sebsauvage.net/links/?Vwkq4g
La décadence et la chute
========================
La technologie a beau être géniale, elle nécessite énormément
d’électricité et coute un pognon de dingue. Et puis il faut l’entrainer
sur le plus de données possible. C’est-à-dire sur tout ce qui a jamais
été posté sur Internet auquel on a accès. Sauf que, ben… ce n’est pas
suffisant. Surtout que les gens ne postent plus sur Internet, mais sur
des plateformes privées avec lesquelles il faut signer des contrats pour
avoir accès aux données.
Feeding the Machine (winter)
gemini://rawtext.club/~winter/gemlog/2024/4-02.gmi
Pour résumer, on assiste, comme d’habitude, à une belle bulle, une
parfaite ruée vers l’or. Avec des vendeurs de pelles (Nvidia) et des
vendeurs de mines (Reddit, Facebook et tous ceux qui ont les données).
Les mineurs vont, pour la plupart, faire faillite. Toute bulle finit par
imploser. La seule question est de savoir si ce que la bulle laissera
comme débris sera utile (comme l’ont été les infrastructures réseau
financées pendant la bulle du web en 2000) ou s’il ne restera que ruines
et destruction (comme la bulle des subprimes en 2008).
Ces dernières sont les pires bulles : elles détruisent activement une
infrastructure existante. Exactement ce que la bulle AI est en train de
faire avec le web en le merdifiant au-delà de tout espoir de sauver quoi
que ce soit. Et en pourrissant toutes les données avec lesquelles
s’entraineront les prochaines générations AI.
La bulle actuelle est peut-être en train d’utiliser la connaissance
accumulée pendant des décennies pour la diluer irrémédiablement dans sa
propre merde, détruisant, en quelques mois, le travail de milliers de
chercheurs pour les décennies à venir. Car, dans dix ans, comment
pourra-t-on créer des jeux de données importants dont on soit sûrs
qu’ils ne contiennent pas de données générées par d’autres algorithmes ?
Drowning in AI Generated Garbage : the silent war we are fighting
(
ploum.net)
https://ploum.net/2022-12-05-drowning-in-ai-generated-garbage.html
Finalement, l’AI ne fait que répéter, en vitesse accélérée, ce que le
consuméro-capitalisme inspiré d’Ayn Rand applique à toute la planète
depuis Tatcher et Reagan : promettre un futur incroyable en détruisant
le présent pour en revendre les décombres dix fois le prix, ne léguant
finalement que des cadavres, des ruines fumantes, des déserts de déchets
et un air irrespirable.
Je me pose cette simple question : et maintenant ?
On a ChatGPT, on a Dall-E. On ne peut pas leur donner plus de données
d’apprentissage. On ne peut pas leur donner plus d’électricité ni plus
d’ordinateurs. Les augmentations de performance purement algorithmique
sont incroyablement rares, difficiles et imprévisibles. Du coup, on fait
quoi avec nos bots de discussion qui spamment tous le web ? On rend les
codeurs plus rapides avec Github Copilot ? Super, on va pondre encore
plus de code que personne ne comprend, dont personne n’a la
responsabilité. Mais pourquoi ?
Keynote Touraine Tech 2023 : Pourquoi ? (
ploum.net)
https://ploum.net/2023-03-30-tnt23-pourquoi.html
Beaucoup pensent que ChatGPT est l’aube d’une révolution, d’un nouveau
paradigme. Je pense, au contraire, qu’il représente la fin,
l’aboutissement technologique à la fois des techniques algorithmiques,
mais également de la parallélisation et de la mise en réseau globale des
connaissances humaines.
Nous avons trop souvent tendance à confondre l’aube avec le crépuscule.