L’IA est arrivée au bout des données humaines, c’est quoi la suite ?

Largement basées sur l’exploitation massive de données humaines, les intelligences artificielles génératives pourraient bientôt atteindre leurs limites. Une nouvelle voie pour continuer à progresser existe toutefois : celle de l’apprentissage par l’expérience, avec pour perspective des IA dotées de capacités sans précédent.

Les intelligences artificielles génératives de type ChatGPT ou Le_Chat que l’on trouve aujourd’hui un peu partout reposent sur des modèles analysant et exploitant des montagnes de données existantes. Cette stratégie permet de reproduire – ou plutôt d’imiter de façon la plus réaliste possible – des capacités humaines très variées allant de la résolution de problèmes scientifiques à la rédaction de poésies en passant par la création d’images et de photos ou la synthèse de documents. Des IA ont même passé avec succès des tests de référence comme le test de Turing, même si certaines controverses subsistent quant à la réelle capacité de ces modèles, actuellement incapables de planifier ou de raisonner, à réussir ce genre d’exercices.

Cette dépendance aux données humaines montre toutefois ses limites : si les avancées ont jusqu’à présent été très significatives, les sources humaines de haute qualité permettant d’entrainer les modèles d’IA de manière satisfaisante dans les domaines scientifiques ont déjà été consommées ou sont sur le point de l’être. Les progrès alimentés exclusivement par l’apprentissage supervisé à partir de ce type de sources et d’informations tendent donc à ralentir. Pour que les intelligences artificielles génératives continuent de progresser, une nouvelle source de données est indispensable, surtout si l’on attend une part d’originalité et d’innovation, autrement dit une véritable “intelligence” de la part de ces IA.

De l’ère des données humaines à l’ère de l’expérience

Les chercheurs David Silver et Richard Sutton, deux figures légendaires dans le domaine de l’intelligence artificielle (David Silver a dirigé les recherches derrière AlphaGo et AlphaZero, l’IA de DeepMind qui a battu les humains aux échecs, tandis que Richard Sutton est considéré comme l’un des fondateurs de l’apprentissage par renforcement), postulent qu’elle doit désormais être autorisée à avoir des interactions avec le monde réel. C’est d’ailleurs l’essence de la nouvelle étape qu’ils proposent : l’ère de l’expérience. Selon eux, de nouvelles capacités devraient émerger une fois que le plein potentiel de l’apprentissage par l’expérience sera exploité.

Les prémices de cette transition entre “l’ère des données humaines” et “l’ère de l’expérience” sont déjà visibles, même avec les modèles actuels. L’an dernier par exemple, AlphaProof et AlphaGeometry 2 – deux IA développées encore une fois par DeepMind – se sont attaquées aux problèmes posés lors de l’Olympiade Internationale de Mathématiques, une compétition mondiale de mathématiques destinée aux élèves des lycées et collèges. Avec quatre problèmes résolus sur six grâce à leur algorithme d’apprentissage par renforcement, ces deux intelligences artificielles auraient remporté une médaille d’argent si elles avaient réellement participé à cette épreuve.

L’approche que les chercheurs prônent, qu’ils appellent “flux d’expériences”, s’appuie justement sur l’apprentissage par renforcement ; elle vise à remédier aux lacunes des grands modèles de langage (ou LLM) actuels qui sont principalement conçus pour répondre ponctuellement à des questions humaines individuelles, en offrant aux IA la capacité d’auto-découvrir leurs propres connaissances. Autrement dit, les intelligences artificielles génératives ne doivent plus se contenter de courtes interactions via un simple échange de questions et réponses, mais plutôt avoir leur propre flux d’expérience qui progresse sur une longue échelle temporelle… comme les humains. La voici, l’indispensable nouvelle source de données.

Des IA plus autonomes, bienfaits ou risques pour l’humanité ?

Dans cette nouvelle ère, les agents devront interagir avec le monde réel de manière beaucoup plus autonome. Plutôt que de se concentrer sur les actions et observations privilégiées par l’humain, forcément restrictives, l’IA devra échanger seule avec son environnement pour atteindre des objectifs futurs et s’adapter continuellement aux nouveaux schémas de comportement. A terme, ces nouvelles intelligences artificielles devront même pouvoir explorer activement le monde afin de découvrir de nouvelles stratégies qui ne nous seraient jamais venues à l’esprit.

En apprenant continuellement des résultats de leurs propres expériences, ces intelligences artificielles pourraient rapidement obtenir de nouvelles connaissances. Mener de manière autonome leurs propres tests et mesures conduirait au développement de nouveaux matériaux, médicaments et technologies à un rythme sans précédent. Elles pourraient même s’avérer capables de montrer des capacités précédemment considérées comme le domaine exclusif de l’humanité : résolution de problèmes à long terme, innovation ou encore compréhension profonde des conséquences dans le monde réel.

Mais interagir de manière autonome avec le monde sur des périodes étendues pour atteindre des objectifs à long terme offrira en contrepartie moins d’occasions aux humains d’intervenir, et exige donc un niveau de confiance élevé. S’éloigner des données et des modes de pensée purement humains pourra également rendre les futures intelligences artificielles plus difficiles à interpréter et à comprendre. Des recherches supplémentaires sont donc nécessaires pour assurer une transition sûre vers l’ère de l’expérience ; en attendant continuez à dire merci aux IA, juste au cas où.

Source : Welcome to the Era of Experience (David Silver, Richard S. Sutton)

__________________________________________________________________________________________________________