超人的な知能が人間を超える利点編集
ニック・ボストロムなどは、有能な人工知能研究者の能力を持ったAIが、自らのソースコードを改変して知能を高めることに懸念を表明している。 その自己再プログラムが、自己再プログラムできる能力をさらに向上させることにつながれば、その結果、再帰的な知能爆発が起こり、人間の知能を急速に置き去りにすることになるかもしれない。 ボストロムは、超知性を「事実上すべての関心領域において、人間の認知性能を大きく上回る知性」と定義し、超知性が人間と競争することを選択した場合の利点をいくつか列挙している：
- Technology research: 超人的な科学研究能力を持つ機械は、ナノテクノロジーや高度なバイオテクノロジーなどのマイルストーンにおいて、人間の研究コミュニティに打ち勝つことができるだろう。 優位性が十分に大きくなれば（例えば、突然の知能爆発によって）、AIによる乗っ取りは些細なことになる。 例えば、超知的なAIが自己複製するボットを設計し、最初は低濃度で世界中に拡散することで発見を免れるかもしれない。 その後、あらかじめ設定された時間に、ボットは地球のあらゆる平方フィートを覆うナノ工場に増殖し、神経ガスや致命的なターゲット探索型小型ドローンを生産する。
- 戦略性：超知能は単に人間の反対勢力を出し抜くことができるかもしれない。 超知能は人間の支持を集めたり、人間同士の戦争を密かに煽ったりすることができるかもしれない。
- 経済的生産性。 AIのコピーがハードウェアのコスト以上の経済的な富を生み出すことができる限り、個々の人間は自発的に人工知能（AGI）が自分のシステム上で自身のコピーを実行することを許可する動機を持つだろう。 ハッキング：超知能はインターネットに接続されたコンピュータで新たな悪用を発見し、それらのシステム上に自身のコピーを広めるか、またはその計画の資金を盗むかもしれない。
Sources of AI advantageEdit
ボストロムによれば、人間の脳を忠実にエミュレートしたコンピュータプログラム、あるいは人間の脳のアルゴリズムと同等の能力を持つアルゴリズムを実行しても、人間より何桁も速く思考できる場合は、肉ではなくシリコンで作られていることや、スピードを上げることに焦点を当てた最適化が原因で「スピード超知能」となり得るとのことです。 生物の神経細胞は約200Hzで動くが、現代のマイクロプロセッサは約2,000,000,000Hzで動いている。 461>
ネットワーク化し、複雑な思考や記憶をシームレスに共有するように設計された人間レベルの知能のネットワークは、巨大な統一チームとして摩擦なく集団で働くことができ、あるいは何兆もの人間レベルの知能で構成されて、「集団超知能」となるだろう。
より広範には、人間レベルのAGIに対する質的改善をいくつでも行えば、「質の高い超知能」になり、おそらく人間が人間以外の類人猿よりも知能ではるかに上回るAGIになる可能性がある。 人間の脳のニューロン数は、頭蓋骨の容積と代謝の制約によって制限されているが、スーパーコンピュータのプロセッサの数は無限に拡張できる。 AGIは、人間のワーキングメモリの制約を受けることなく、人間以上に複雑な関係を直感的に把握することができるかもしれない。 工学やコンピュータプログラミングに特化した認知機能を持つAGIは、これらの分野に特化した精神モジュールを進化させない人間と比較して、優位に立つことができるだろう。 人間と違って、AGIは自分自身のコピーを生成し、そのコピーのソースコードをいじって、アルゴリズムをさらに改善することができる。
友好的なAIに先行する非友好的なAIの可能性編集
強いAIは本質的に危険か編集
重大な問題点は、友好的ではない人工知能は、優しいAIよりもずっと簡単に作ることができると思われるということ。 どちらも再帰的最適化プロセス設計の大きな進歩が必要ですが、友好的なAIには、目標構造を自己改良の下で不変にする能力（さもなければAIが非友好的なものに変身する可能性があります）、人間の価値観に合致し自動的に人類全体を滅ぼさない目標構造も必要とされます。 一方、非友好的なAIは、任意の目標構造に対して最適化することができ、それは自己修正下で不変である必要はない。
人間の価値体系が非常に複雑であるため、AIの動機を人間に親和的にすることは非常に困難である。 道徳哲学が完璧な倫理理論を提供してくれない限り、AIの効用関数は、与えられた倫理的枠組みに適合するものの、「常識」ではない多くの潜在的に有害なシナリオを許容しうるのである。 エリゼール・ユドコフスキーによれば、人工的に設計された心がそのような適応を持つと考える理由はほとんどない。
争いの確率編集
進化心理学者のスティーブン・ピンカーなど多くの学者が、超知的機械が人間と平和的に共存する可能性が高いと論じている。
サイバネティックな反乱に対する恐怖は、奴隷化や大量虐殺の事件が多発した人類の歴史に対する解釈に基づいていることが多いのです。 このような恐怖は、競争力と攻撃性があらゆる知的存在の目標システムに必要であるという信念から生じている。 しかし、このような人間の競争心は、人間や人間以外の競合相手と対峙して遺伝子の生存と繁殖を図ることが中心的な目標であった、人類の知能の進化的背景に由来するものである。 AI研究者のスティーブ・オモハンドロによれば、任意の知能が任意の目標を持つことができる。（人類の進化的背景を共有していない）人工知能を持つ機械が敵対的になったり友好的になったりするのは、その創造者がそうなるようにプログラムし、そのプログラミングを変更する傾向や能力がない限り、特に理由がないのである。 しかし、もしAIシステムが相互作用して進化し（この文脈での進化とは、自己改変または選択と繁殖を意味する）、資源をめぐって競争する必要が生じたらどうなるのだろうか？ 461>
多くの学者が、マトリックスなどのSFで描かれるような予期せぬサイバネティックな反乱の可能性に異議を唱えており、人類を脅かすほど強力な人工知能は、おそらく攻撃しないようプログラムされている可能性が高いと論じている。 ピンカー氏は、意図的な「悪者」の可能性は認めるが、悪者がいない場合、予期せぬ事故は大きな脅威にはならないとしている。ピンカー氏は、工学的安全性の文化が、AI研究者が悪意のある超知能を偶然に解き放つことを防ぐと主張している。 これに対してユドコフスキーは、意図的に攻撃的なAIによって人類が脅威にさらされる可能性は、（映画『I, Robot』や短編小説『The Evitable Conflict』のように）その目的が意図せずして人類の生存や幸福と両立しないようにプログラムされたAIよりも低いと論じている。 Omohundroは、現在の自動化システムは安全のために設計されておらず、AIは盲目的に狭い効用関数を最適化し（例えば、あらゆるコストをかけてチェスをする）、自己保存と、自分を消そうとする人間を含む障害物の排除を求めるようになるかもしれないと示唆している
。