Quand l’IA dépasse les hommes : L’Éveil de la Superintelligence

J’aimerais vous parler d’un papier scientifique sur le sujet qui fait froid dans le dos.

Mais avant, plantons le décor…

Imaginez San Francisco, la ville où l’on voit le futur en avant-première.

Là-bas, les conversations ont changé.

On ne parle plus de clusters de calcul à 10 milliards de dollars, mais de monstres à 100 milliards, voire des trillions.

Ça monte tellement vite que ça donne le vertige !

Et derrière ces chiffres, une course effrénée pour sécuriser chaque contrat d’électricité disponible pour les dix prochaines années.

On n’est plus dans la Silicon Valley, on est à l’ère de l’industrie 4.0 dopée aux GPUs.

Alors, c’est quoi le programme ?

On est en pleine course à l’AGI, la super Intelligence.

D’ici 2025/26, ces machines seront plus intelligentes que la moyenne des diplômés universitaires. Oui, vous avez bien lu.

Et à la fin de la décennie, elles seront plus futées que vous et moi. On parle de superintelligence dans le vrai sens du terme, pas juste un énième gadget à la mode.

Mais attention, ce n’est pas juste un concours de popularité entre geeks. Non, non, non. On risque de se retrouver dans une compétition féroce avec le PCC (Parti Communiste Chinois), voire pire, en guerre totale.

Les grandes entreprises américaines se préparent à injecter des trillions de dollars dans cette mobilisation industrielle d’une ampleur jamais vue depuis des décennies.

Alors que tout le monde parle d’IA comme de la dernière mode, très peu comprennent réellement ce qui nous attend. Même les analystes de Nvidia pensent que 2024 pourrait être le pic.

Sérieusement ? Ces gars-là doivent sortir plus souvent de leur bulle de silicium. Parce que bientôt, le monde va se réveiller et se rendre compte que l’IA, ce n’est pas juste de la hype. C’est un tsunami technologique qui va tout balayer sur son passage.

Les OOMs, vous connaissez ? Non, ce n’est pas un nouveau boys band. C’est l’ordre de grandeur, le X10. Et dans le monde de l’IA, ça monte très vite. De GPT-2 à GPT-4, on a fait un bond de capacités similaires à celles d’un enfant en bas âge à celles d’un lycéen surdoué en quatre ans. Imaginez ce que ça va donner en 2027. On parle de modèles capables de faire le travail d’un chercheur en IA. Pas besoin de science-fiction, juste de croire aux courbes des graphes.

Ensuite, la superintelligence. Des centaines de millions d’AGIs pourraient automatiser la recherche en IA, compressant une décennie de progrès en un an. La puissance et le danger de la superintelligence seraient dramatiques. Et là, on parle de vrai pouvoir, celui qui peut basculer l’économie et la sécurité mondiale.

Mais tout n’est pas rose. La course aux clusters de trillions de dollars, la sécurisation des secrets de l’AGI contre les acteurs étatiques, et surtout, l’alignement des superintelligences pour qu’elles ne nous réduisent pas en poussière numérique… Ce sont des défis énormes. Et n’oublions pas la Chine. Elle est loin d’être hors jeu. La course à l’AGI est une question de survie pour le monde libre. Prévaloir ou périr, telle est la question.

D’ici la fin de la décennie, on verra sans doute le gouvernement américain se réveiller et lancer un projet AGI national. Parce qu’aucune startup ne pourra gérer la superintelligence seule. Ce sera le dernier acte de cette épopée technologique.

L’avenir de l’IA est un cocktail explosif d’opportunités et de dangers. On est à l’aube d’une révolution qui va redéfinir notre monde. Alors accrochez-vous bien, parce que la course vient à peine de commencer. Et pour ceux qui veulent vraiment comprendre ce qui se passe, il est temps de sortir la tête du sable et de compter les OOMs. Parce que, comme dirait l’autre, les modèles, ils veulent juste apprendre. Et croyez-moi, ils vont apprendre vite, très vite.

Revenons au papier scientifique dont je vous ai parlé en intro

Que nous dit l’étude complète de Leopold Aschenbrenner, chercheur chez OpenAI (les créateurs de ChatGPT)

Prise de conscience situationnelle : La décennie à venir par Leopold Aschenbrenner

L’auteur dédie ce travail à Ilya Sutskever et exprime sa gratitude à divers collègues et amis pour leurs contributions. Le document vise à fournir des perspectives sur l’avenir de l’IA, en se concentrant particulièrement sur la course vers l’AGI (Intelligence Artificielle Générale) et ses implications.

Thèmes clés et sections :

1. De GPT-4 à AGI : Compter les OOMs (Ordres de Magnitude)
   • L’auteur suggère que l’AGI pourrait être atteinte d’ici 2027. Le passage de GPT-2 à GPT-4 a permis de passer de capacités similaires à celles d’un enfant en bas âge à celles d’un lycéen intelligent en seulement quatre ans. En traçant les tendances en termes de calcul, d’efficacités algorithmiques et de gains « démobilisants » (du chatbot à l’agent), on peut s’attendre à un saut qualitatif similaire d’ici 2027.
2. De l’AGI à la Superintelligence : L’Explosion de l’Intelligence
   • Le progrès de l’IA ne s’arrêtera pas au niveau humain. Des centaines de millions d’AGI pourraient automatiser la recherche en IA, compressant une décennie de progrès algorithmique en un an. Nous passerions rapidement de systèmes d’IA au niveau humain à des systèmes d’IA bien plus intelligents que les humains. Le pouvoir – et le danger – de la superintelligence serait dramatique.
3. Les Défis :
   • La Course au Cluster de Trillions de Dollars : Une accélération techno-capitaliste extraordinaire a été mise en branle. Alors que les revenus de l’IA augmentent rapidement, des trillions de dollars seront investis dans les GPU, les centres de données et la production d’énergie avant la fin de la décennie. La mobilisation industrielle, y compris l’augmentation de la production d’électricité aux États-Unis de plusieurs dizaines de pourcents, sera intense.
   • Sécurisation des Laboratoires : Sécurité pour l’AGI : Les principaux laboratoires d’IA du pays traitent la sécurité comme une réflexion après coup. Actuellement, ils offrent essentiellement les secrets clés de l’AGI au Parti communiste chinois (PCC) sur un plateau d’argent. La sécurisation des secrets et des poids de l’AGI contre la menace des acteurs étatiques sera un effort immense.
   • Superalignement : Contrôler de manière fiable les systèmes d’IA beaucoup plus intelligents que nous est un problème technique non résolu. Bien que ce soit un problème solvable, les choses pourraient très facilement déraper pendant une explosion rapide de l’intelligence. La gestion de cela sera extrêmement tendue ; un échec pourrait facilement être catastrophique.
   • Le Monde Libre Doit Prévaloir : La superintelligence donnera un avantage économique et militaire décisif. La Chine n’est pas du tout hors-jeu. Dans la course à l’AGI, la survie même du monde libre sera en jeu. Pouvons-nous maintenir notre prééminence sur les pouvoirs autoritaires ? Et parviendrons-nous à éviter l’autodestruction en cours de route ?
4. Le Projet :
   • À mesure que la course à l’AGI s’intensifie, l’État de sécurité nationale sera impliqué. Le gouvernement américain se réveillera de sa léthargie et d’ici 2027/28, nous aurons une forme de projet gouvernemental sur l’AGI. Aucune startup ne peut gérer la superintelligence. Quelque part dans un SCIF, le jeu final sera en cours.
5. Pensées Finales :
   • Que se passerait-il si nous avons raison ?

Annexe

De GPT-4 à AGI : Compter les OOMs :

• Il est plausible que d’ici 2027, les modèles pourront effectuer le travail d’un chercheur/ingénieur en IA. Cela ne nécessite pas de croire en la science-fiction, mais simplement de croire aux lignes droites sur un graphique.
• Les modèles, ils veulent juste apprendre. En les augmentant, ils apprennent plus.
• GPT-4 a choqué beaucoup de monde par ses capacités : écrire du code et des essais, résoudre des problèmes mathématiques difficiles, et réussir des examens universitaires. Quelques années auparavant, ces capacités étaient considérées comme des murs infranchissables.

Progrès de l’IA et tendances :

• Les systèmes d’apprentissage profond continuent de s’améliorer avec chaque ordre de magnitude de calcul efficace. En comptant les OOMs, nous pouvons extrapoler les améliorations des capacités.
• De GPT-2 à GPT-4, le calcul utilisé a augmenté de ~3 000 à 10 000 fois.
• Les gains d’efficacité algorithmique ajoutent environ 0,5 OOM par an.

Défis à venir :

• La disponibilité des données devient une contrainte majeure alors que les modèles actuels sont formés sur une grande partie de l’Internet. Les chercheurs se tournent vers des données synthétiques et des approches de self-play et RL pour contourner ces limitations.
• Le déblocage des modèles implique des améliorations algorithmiques comme le RLHF, le Chain of Thought (CoT), l’utilisation d’outils, l’augmentation de la longueur du contexte, et les améliorations post-entraînement.

Vers l’avenir :

• Les modèles futurs ressembleront plus à des agents ou des collègues de travail qu’à de simples chatbots.
• Des progrès significatifs dans l’apprentissage à long terme, la correction d’erreurs, et la capacité à mener des projets sur le long terme sont attendus.

Conclusion :

• La course vers l’AGI et la superintelligence est en cours et aura des implications profondes pour la sécurité nationale, l’économie et la société mondiale. Les prochaines années seront cruciales pour déterminer le futur de cette technologie puissante.

Accédez au document complet ici