Les machines qui génèrent des poèmes
En février 2019, OpenAI annonçait la mise au point de GPT-2, présenté comme un «modèle de langage ultra-performant». Son «intelligence» reposait sur un entraînement massif sur des milliards de données disponibles sur Internet, avec la capacité d’ajuster en permanence ses prédictions pour apprendre de manière autonome. Contrairement à sa mission initiale de publier librement ses modèles d’IA, OpenAI — devenue entre-temps une entreprise à but lucratif plafonné (capped-profit company) — décida de ne pas diffuser les poids de GPT-2 dans leur intégralité, invoquant des risques d’abus.
Fin mai 2020, OpenAI franchit une nouvelle étape avec le lancement de GPT-3. Alors que GPT-2 comptait 1,5 milliard de paramètres, GPT-3 en intégrait 175 milliards, entraînés sur près de 700 Go de données issues du Web et d’e-books. GPT-3 se déclinait en plusieurs versions spécialisées, nommées d’après des auteurs célèbres : davinci, curie, babbage et ada.
En 2022, OpenAI ouvrit GPT-3 comme service commercial via une API payante, facturée au volume de requêtes, avec un crédit de bienvenue de 18 dollars. Je m’étais abonné au printemps 2022 et j’ai effectué mes premiers tests dans le Playground d’OpenAI.
Par curiosité, j’ai demandé au chatbot de générer un poème sur un grille-pain tombant amoureux d’un chien. Voici deux exemples de résultats :
A toaster and a dog may seem
An unlikely pair, it might seem
But love can strike in the strangest ways
And make our hearts sing and blaze
The toaster longed for the dog’s warm embrace
To feel her soft fur and gentle face
The dog, she pined for the toaster’s heat
To feel its warmth beneath her feet
They danced and they played, under the moon’s gentle light
Their love was a flame, burning bright
Though others may scoff and call it absurd
This toaster and dog, their love was not deterred
For in this world, where love is rare
Their bond, so strong, it will not tear
A toaster and a dog, a love so true
Forever they’ll be, me and you.
A toaster once fell in love with a dog,
With a heart of steel and a wag of its tail.
Together they roamed, a love so strong,
Through fields and forests, they never did fail.
The toaster toasted bread with care,
While the dog chased squirrels without a care.
They shared a bond, like no other,
A love that could conquer any fear.
Through rain and shine, they remained true,
A toaster and a dog, in love so pure.
Their bond grew stronger with each passing day,
A love that would never fade, that’s for sure.
So here’s to the toaster and the dog,
A love so rare, it must be celebrated.
Their bond is unbreakable, a love so pure,
A toaster and a dog, forever mated.
Schreif mer e Gedicht
À l’été 2022, j’ai publié sur HuggingFace un espace de démonstration intitulé Schreif mer e Gedicht, qui permettait de générer automatiquement des poèmes en luxembourgeois.
Mais comme l’application s’appuyait sur mon compte OpenAI, elle consommait directement mon crédit facturable. Très vite, les coûts dépassèrent mes prévisions. En effet, au lieu de générer uniquement des poèmes luxembourgeois, de nombreux utilisateurs étrangers s’amusaient à dialoguer en d’autres langues avec le chatbot. Résultat : le plafond de 30 dollars que j’avais fixé était régulièrement atteint dès les premiers jours du mois, rendant l’application inutilisable le reste du temps. Malgré mes efforts, je n’ai pas réussi à limiter ces usages détournés.
En novembre 2022 , RTL publia un court reportage sur mon projet de génération de poèmes luxembourgeois, mettant en lumière cette première expérience locale avec les grands modèles de langage.
De GPT-3 à ChatGPT
Rapidement, GPT-3 fut supplanté par GPT-3.5, qui servit de base au lancement du prototype ChatGPT en novembre 2022. Le lecteur averti connaît déjà la suite de cette histoire : une adoption fulgurante et une popularité planétaire.