« Wouahhh ! » est sans doute l'expression que l'on entend le plus souvent de la bouche des dizaines de millions d’utilisateurs de ChatGPT. Lire la suite
L'intelligence artificielle (IA) s'est toujours intéressée à la langue, mais ChatGPT n’a aujourd’hui plus qu’à plonger dans les méandres du Web pour prolonger chaque entame de texte par une succession de mots s’enchaînant statistiquement les uns aux autres. Pourquoi un tel exploit n’a-t-il pu se produire plut tôt ? Pourquoi consommer des Gigawatts à réapprendre l’orthographe, la grammaire et le sens des mots si de telles règles et connaissances existent et ne demandent qu’à être retranscrites dans quelques lignes de code en lieu et place de milliards de paramètres neuronaux, moins sobres sur le plan énergétique ? C’est à ces questions et à beaucoup d’autres que cet essai tente de répondre.
Introduction - Il était une fois une… wouahhhh!
Chapitre 1 - Il était une fois les deux IA
Chapitre 2 - Il était une fois les réseaux de neurones
L'apprentissage des réseaux de neurones : la rétropropagation
L'approfondissement des réseaux de neurones : l’apprentissage profond
Convolution et pooling
Surapprentissage et validation
Chapitre 3 - Il était une fois Noam Chomsky et Roger Schank
Noam Chomsky (1928-)
Roger Schank (1946-2023)
Chapitre 4 - Il était une fois les « transformers »
La « vectorisation », ou « word embedding »
Comment coder l’attention
Prédire le mot qui suit
Le coup de main du renforcement
Le génie du prompt
Chapitre 5 - Il était une fois une régression
Conclusion - la morale de l’histoire
Le Soir - ChatGPT