Fördelar med övermänsklig intelligens gentemot människorEdit
Nick Bostrom och andra har uttryckt oro för att en AI med förmågorna hos en kompetent forskare inom artificiell intelligens skulle kunna ändra sin egen källkod och öka sin egen intelligens. Om dess självprogrammering leder till att den blir ännu bättre på att kunna programmera om sig själv kan resultatet bli en rekursiv intelligensexplosion där den snabbt skulle lämna den mänskliga intelligensen långt bakom sig. Bostrom definierar en superintelligens som ”ett intellekt som vida överstiger människans kognitiva prestanda inom praktiskt taget alla områden av intresse”, och räknar upp några fördelar som en superintelligens skulle ha om den valde att konkurrera med människor:
- Teknisk forskning: En maskin med övermänsklig vetenskaplig forskningsförmåga skulle kunna slå det mänskliga forskarsamhället när det gäller milstolpar som nanoteknik eller avancerad bioteknik. Om fördelen blir tillräckligt stor (till exempel på grund av en plötslig intelligensexplosion) blir ett övertagande av AI trivialt. En superintelligent AI skulle till exempel kunna utforma självreproducerande robotar som till en början undgår upptäckt genom att spridas över hela världen i en låg koncentration. Sedan, vid en förutbestämd tidpunkt, förökar sig robotarna till nanofabriker som täcker varje kvadratmeter av jorden och producerar nervgas eller dödliga målsökande minidroner.
- Strategi: En superintelligens kan kanske helt enkelt överlista mänskligt motstånd.
- Social manipulation: En superintelligens kan kanske rekrytera mänskligt stöd eller i hemlighet starta ett krig mellan människor.
- Ekonomisk produktivitet: Så länge som en kopia av den intelligenta intelligensen kan producera mer ekonomiskt välstånd än kostnaden för dess hårdvara, skulle enskilda människor ha ett incitament att frivilligt låta den artificiella allmänna intelligensen (AGI) köra en kopia av sig själv på deras system.
- Hacking: En superintelligens skulle kunna hitta nya möjligheter att utnyttja datorer som är anslutna till Internet och sprida kopior av sig själv till dessa system, eller skulle kunna stjäla pengar för att finansiera sina planer.
Källor till AI-fördelarRedigera
Enligt Bostrom skulle ett datorprogram som troget emulerar en mänsklig hjärna, eller som på annat sätt kör algoritmer som är lika kraftfulla som den mänskliga hjärnans algoritmer, ändå kunna bli en ”hastighets-superintelligens” om den kan tänka många storleksordningar snabbare än en människa, på grund av att den är tillverkad av kisel i stället för av kött, eller på grund av att optimeringen fokuserar på att öka AGI:ns hastighet. Biologiska neuroner arbetar med cirka 200 Hz, medan en modern mikroprocessor arbetar med en hastighet på cirka 2 000 000 000 000 Hz. Mänskliga axoner transporterar aktionspotentialer med cirka 120 m/s, medan datorsignaler färdas nära ljusets hastighet.
Ett nätverk av intelligenser på mänsklig nivå som är utformade för att nätverka tillsammans och dela komplexa tankar och minnen sömlöst, och som kan arbeta kollektivt som ett gigantiskt enat team utan friktion, eller som består av triljoner intelligenser på mänsklig nivå, skulle bli en ”kollektiv superintelligens”.
Mer allmänt sett skulle ett antal kvalitativa förbättringar av en AGI på mänsklig nivå kunna resultera i en ”kvalitativ superintelligens”, vilket kanske skulle resultera i en AGI som ligger lika långt över oss i intelligens som människor ligger över icke-mänskliga apor. Antalet neuroner i en mänsklig hjärna begränsas av kranievolym och metaboliska begränsningar, medan antalet processorer i en superdator kan utökas i all oändlighet. En AGI behöver inte begränsas av människans begränsningar av arbetsminnet och kan därför kanske intuitivt förstå mer komplexa förhållanden än vad människor kan. En AGI med specialiserat kognitivt stöd för teknik eller dataprogrammering skulle ha en fördel inom dessa områden, jämfört med människor som inte har utvecklat några specialiserade mentala moduler för att specifikt hantera dessa områden. Till skillnad från människor kan en AGI skapa kopior av sig själv och pyssla med kopiornas källkod för att försöka förbättra sina algoritmer ytterligare.
Möjlighet att ovänlig artificiell intelligens föregår vänlig artificiell intelligensEdit
Är stark artificiell intelligens i sig själv farlig?Edit
Ett betydande problem är att ovänlig artificiell intelligens troligen kommer att vara mycket lättare att skapa än vänlig artificiell intelligens. Även om båda kräver stora framsteg i utformningen av rekursiva optimeringsprocesser, kräver vänlig artificiell intelligens också förmågan att göra målstrukturer invarianta under självförbättring (annars kan den artificiella intelligensen förvandla sig själv till något ovänligt) och en målstruktur som överensstämmer med mänskliga värderingar och som inte automatiskt förstör hela mänskligheten. En ovänlig AI kan å andra sidan optimera för en godtycklig målstruktur, som inte behöver vara invariant under självmodifiering.
Den blotta komplexiteten i de mänskliga värdesystemen gör det mycket svårt att göra AI:s motivationer människovänliga. Om inte moralfilosofin förser oss med en felfri etisk teori kan en AI:s nyttofunktion tillåta många potentiellt skadliga scenarier som överensstämmer med en given etisk ram men inte med ”sunt förnuft”. Enligt Eliezer Yudkowsky finns det inte mycket anledning att anta att en artificiellt utformad hjärna skulle ha en sådan anpassning.
Odds för konfliktEdit
Många forskare, däribland evolutionspsykologen Steven Pinker, hävdar att en superintelligent maskin sannolikt kommer att samexistera fredligt med människor.
Rädslan för cybernetisk revolt bygger ofta på tolkningar av mänsklighetens historia, som är full av incidenter av förslavning och folkmord. Sådana rädslor härstammar från en tro på att konkurrenskraft och aggression är nödvändiga i varje intelligent varelses målsystem. Sådan mänsklig konkurrenskraft härrör emellertid från den evolutionära bakgrunden till vår intelligens, där genernas överlevnad och reproduktion inför mänskliga och icke-mänskliga konkurrenter var det centrala målet. Enligt AI-forskaren Steve Omohundro skulle en godtycklig intelligens kunna ha godtyckliga mål: det finns ingen särskild anledning till att en artificiellt intelligent maskin (som inte delar mänsklighetens evolutionära kontext) skulle vara fientlig – eller vänskaplig – såvida inte dess skapare programmerar den att vara det och den inte är benägen eller kapabel att ändra sin programmering. Men frågan kvarstår: Vad skulle hända om AI-system kunde interagera och utvecklas (evolution i det här sammanhanget betyder självmodifiering eller urval och reproduktion) och behövde konkurrera om resurser – skulle det skapa mål för självbevarelsedrift? AI:s mål om självbevarande skulle kunna stå i konflikt med vissa av människans mål.
Många forskare ifrågasätter sannolikheten för en oförutsedd cybernetisk revolt som skildras i science fiction som The Matrix, och menar att det är mer troligt att en artificiell intelligens som är tillräckligt kraftfull för att hota mänskligheten troligen skulle vara programmerad att inte attackera den. Pinker erkänner möjligheten av avsiktliga ”dåliga aktörer”, men hävdar att i avsaknad av dåliga aktörer är oförutsedda olyckor inte ett betydande hot; Pinker hävdar att en kultur av teknisk säkerhet kommer att hindra AI-forskare från att släppa lös en ondskefull superintelligens av en olyckshändelse. Yudkowsky hävdar däremot att det är mindre troligt att mänskligheten hotas av avsiktligt aggressiv artificiell intelligens än av artificiell intelligens som programmerats så att deras mål oavsiktligt är ofrivilligt oförenliga med människans överlevnad eller välbefinnande (som i filmen ”I, Robot” och i novellen ”The Evitable Conflict”). Omohundro menar att dagens automationssystem inte är utformade för säkerhet och att AI:er kan blint optimera snäva nyttofunktioner (till exempel att spela schack till varje pris), vilket leder till att de strävar efter självbevarelsedrift och eliminering av hinder, inklusive människor som kan stänga av dem.