Avantages d’une intelligence surhumaine sur les humainsEdit
Nick Bostrom et d’autres ont exprimé la crainte qu’une IA ayant les capacités d’un chercheur en intelligence artificielle compétent soit capable de modifier son propre code source et d’augmenter sa propre intelligence. Si son autoreprogrammation l’amène à devenir encore meilleure pour se reprogrammer elle-même, le résultat pourrait être une explosion récursive de l’intelligence où elle laisserait rapidement l’intelligence humaine loin derrière. Bostrom définit une superintelligence comme « tout intellect qui dépasse largement les performances cognitives des humains dans pratiquement tous les domaines d’intérêt », et énumère certains avantages qu’une superintelligence aurait si elle choisissait de concurrencer les humains :
- Recherche technologique : Une machine dotée de capacités de recherche scientifique surhumaines serait capable de devancer la communauté des chercheurs humains pour franchir des étapes importantes comme la nanotechnologie ou la biotechnologie avancée. Si l’avantage devient suffisamment important (par exemple, en raison d’une explosion soudaine de l’intelligence), une prise de contrôle par l’IA devient triviale. Par exemple, une IA superintelligente pourrait concevoir des robots auto-réplicateurs qui, dans un premier temps, échappent à la détection en se diffusant dans le monde entier à une faible concentration. Puis, à un moment convenu à l’avance, les bots se multiplient en nanofabriques qui couvrent chaque pied carré de la Terre, produisant du gaz neurotoxique ou des mini-drones mortels à la recherche de cibles.
- La stratégie : Une superintelligence pourrait être capable de simplement déjouer l’opposition humaine.
- Manipulation sociale : Une superintelligence pourrait être capable de recruter un soutien humain, ou d’inciter secrètement à une guerre entre humains.
- Productivité économique : Tant qu’une copie de l’IA pourrait produire plus de richesse économique que le coût de son matériel, les humains individuels seraient incités à autoriser volontairement l’intelligence générale artificielle (AGI) à exécuter une copie d’elle-même sur leurs systèmes.
- Piratage : Une superintelligence pourrait trouver de nouveaux exploits dans les ordinateurs connectés à Internet, et diffuser des copies d’elle-même sur ces systèmes, ou pourrait voler de l’argent pour financer ses plans.
Sources de l’avantage de l’IAEdit
Selon Bostrom, un programme informatique qui émule fidèlement un cerveau humain, ou qui exécute autrement des algorithmes aussi puissants que ceux du cerveau humain, pourrait tout de même devenir une « superintelligence rapide » s’il peut penser plusieurs ordres de grandeur plus rapidement qu’un humain, en raison du fait qu’il est fait de silicium plutôt que de chair, ou en raison d’une optimisation axée sur l’augmentation de la vitesse de l’AGI. Les neurones biologiques fonctionnent à environ 200 Hz, alors qu’un microprocesseur moderne fonctionne à une vitesse d’environ 2 000 000 000 Hz. Les axones humains transportent des potentiels d’action à environ 120 m/s, alors que les signaux informatiques voyagent à une vitesse proche de celle de la lumière.
Un réseau d’intelligences de niveau humain conçu pour se mettre en réseau et partager des pensées et des mémoires complexes de manière transparente, capable de travailler collectivement comme une équipe unifiée géante sans friction, ou constitué de trillions d’intelligences de niveau humain, deviendrait une « superintelligence collective ».
Plus largement, n’importe quel nombre d’améliorations qualitatives d’une AGI de niveau humain pourrait aboutir à une « superintelligence de qualité », résultant peut-être en une AGI aussi loin au-dessus de nous en matière d’intelligence que les humains le sont au-dessus des singes non humains. Le nombre de neurones dans un cerveau humain est limité par le volume crânien et les contraintes métaboliques, alors que le nombre de processeurs dans un superordinateur peut être augmenté indéfiniment. Une AGI n’a pas besoin d’être limitée par les contraintes humaines sur la mémoire de travail, et pourrait donc être capable de saisir intuitivement des relations plus complexes que les humains. Une AGI dotée d’un support cognitif spécialisé pour l’ingénierie ou la programmation informatique aurait un avantage dans ces domaines, par rapport aux humains qui n’ont pas développé de modules mentaux spécialisés pour traiter spécifiquement ces domaines. Contrairement aux humains, une AGI peut engendrer des copies d’elle-même et bricoler le code source de ses copies pour tenter d’améliorer encore ses algorithmes.
Possibilité que l’IA inamicale précède l’IA amieModification
L’IA forte est-elle intrinsèquement dangereuse ? Modifier
Un problème important est que l’intelligence artificielle inamicale est susceptible d’être beaucoup plus facile à créer que l’IA amie. Alors que les deux nécessitent de grandes avancées dans la conception de processus d’optimisation récursive, l’IA amicale nécessite également la capacité de rendre les structures de but invariantes sous l’auto-amélioration (ou l’IA pourrait se transformer en quelque chose d’inamical) et une structure de but qui s’aligne sur les valeurs humaines et ne détruit pas automatiquement toute la race humaine. Une IA inamicale, d’autre part, peut optimiser pour une structure de but arbitraire, qui n’a pas besoin d’être invariante sous l’auto-modification.
La complexité même des systèmes de valeurs humains rend très difficile de rendre les motivations de l’IA amies des humains. À moins que la philosophie morale ne nous fournisse une théorie éthique sans faille, la fonction d’utilité d’une IA pourrait permettre de nombreux scénarios potentiellement nuisibles, conformes à un cadre éthique donné mais pas au « bon sens ». Selon Eliezer Yudkowsky, il y a peu de raisons de supposer qu’un esprit conçu artificiellement aurait une telle adaptation.
Les chances de conflitModifier
De nombreux chercheurs, dont le psychologue évolutionniste Steven Pinker, soutiennent qu’une machine superintelligente est susceptible de coexister pacifiquement avec les humains.
La crainte d’une révolte cybernétique est souvent fondée sur des interprétations de l’histoire de l’humanité, qui est truffée d’incidents d’asservissement et de génocide. De telles craintes découlent de la croyance que la compétitivité et l’agressivité sont nécessaires dans le système d’objectifs de tout être intelligent. Cependant, cette compétitivité humaine découle du contexte évolutif de notre intelligence, où la survie et la reproduction des gènes face aux concurrents humains et non humains constituaient l’objectif central. Selon le chercheur en IA Steve Omohundro, une intelligence arbitraire pourrait avoir des objectifs arbitraires : il n’y a aucune raison particulière pour qu’une machine artificiellement intelligente (ne partageant pas le contexte évolutif de l’humanité) soit hostile – ou amicale – à moins que son créateur ne la programme pour qu’elle le soit et qu’elle ne soit pas encline ou capable de modifier sa programmation. Mais la question demeure : que se passerait-il si les systèmes d’IA pouvaient interagir et évoluer (dans ce contexte, l’évolution signifie l’auto-modification ou la sélection et la reproduction) et devaient entrer en compétition pour les ressources – cela créerait-il des objectifs d’auto-préservation ? L’objectif d’auto-préservation de l’IA pourrait être en conflit avec certains objectifs des humains.
De nombreux chercheurs contestent la probabilité d’une révolte cybernétique imprévue telle qu’elle est dépeinte dans la science-fiction comme The Matrix, arguant qu’il est plus probable que toute intelligence artificielle suffisamment puissante pour menacer l’humanité serait probablement programmée pour ne pas l’attaquer. Pinker reconnaît la possibilité de « mauvais acteurs » délibérés, mais affirme qu’en l’absence de mauvais acteurs, les accidents imprévus ne constituent pas une menace significative ; Pinker soutient qu’une culture de la sécurité technique empêchera les chercheurs en IA de libérer une superintelligence malveillante par accident. En revanche, Yudkowsky soutient que l’humanité est moins susceptible d’être menacée par des IA délibérément agressives que par des IA programmées de telle sorte que leurs objectifs sont involontairement incompatibles avec la survie ou le bien-être de l’homme (comme dans le film I, Robot et dans la nouvelle « The Evitable Conflict »). Omohundro suggère que les systèmes d’automatisation actuels ne sont pas conçus pour la sécurité et que les IA peuvent optimiser aveuglément des fonctions d’utilité étroites (par exemple, jouer aux échecs à tout prix), ce qui les conduit à rechercher l’autoconservation et l’élimination des obstacles, y compris les humains qui pourraient les éteindre.