AI研究者らは長年、このテクノロジーが人類を滅ぼす可能性があると警告してきた。実験が想定しているように、AIボットが止められない病気を作り出したり、核戦争を引き起こしたり、地球全体をペーパークリップ工場に変えたりする可能性がある。
一部の幹部が安全上の理由からテクノロジーの開発を遅らせることに同意して以来、こうした終末シナリオの可能性についてのAI業界内外の議論が激化している。
人間がテクノロジーを掌握できなくなる可能性についての警告にもかかわらず、AI企業自体が説明する最悪のシナリオは、現実よりもその仕事の重要性を検証することに関係しているのではないかと疑う人もいる。
「これらの議論には全く根拠がありません。私はこれらの議論はSFだと思いますし、ある種の幼稚な考え方に誘惑されます。そして、それは特定のタイプの人材を採用するのに役立つので、それは最前線の研究室にとって非常に魅力的です」とOpenRAIのサイバーセキュリティ会社Frontierの研究者Juan Andres Guerrero-Sadaは述べた。
それでも、その驚くべき機能で世界を驚かせたテクノロジーのリスクを心配する人が増えています。
同社と競合他社がAI開発において責任を持って行動していないとの懸念から同社を辞任した人類学者のジェイコブ・クックソン氏は、最近Xに対し、AIがどのように人類を終わらせるのかをより効果的に人々に伝えることに「取り組む」必要があると語った。 「残念ながら、具体的なシナリオを伝えるのは非常に難しい」と同氏は今月初めに書いた。
ここでは、より議論されている終末シナリオをいくつか紹介します。
研究者らは、人工知能システムが各国に弾頭のついたミサイルを互いに発射させ、核戦争を引き起こす可能性があると長年推測してきた。核爆発とそれに続く継続的な大気中への放射性降下物は「核の冬」をもたらし、地球上の生命を破壊する可能性があります。
ランド研究所の研究者らは昨年の報告書で、「指揮統制システムに厳格な安全装置が組み込まれているため、現時点では」AIが核兵器の使用を引き起こすことは不可能だと結論付けた。しかし報告書は、AIモデルが核兵器の「意思決定チェーン」に統合されたり、それらのシステムへの不正アクセスが得られたりした場合には状況が変わる可能性があると述べている。
多くのAI研究者にとって、そこに危険が潜んでいる――AIエージェントが突然人類滅亡を決意するということではなく、人々、国家、集団が敵を排除するためにAIを利用するということだ。
AI の最大の期待の 1 つは、人間の病気の治療法や治療法を開発するのに役立つことです。
病気を治すことのもう一つの側面は、人類に害を及ぼす病気を生み出したり促進したりすることです。アンスロピックは今月初め、サイバー攻撃、監視、生物兵器につながる可能性のある研究など、さまざまな悪意のある活動に自社の人工知能を利用しようとする悪意のある者による取り組みを阻止したと発表した。
アンスロピック社は、あるケースでは、蚊が媒介するチクングニア熱ウイルスの有害性を増大させる変異を改善する研究提案に対する同社のクロードツールからの支援要請が、同社のシステムによってブロックされたと述べた。このような研究は、より優れたワクチンや治療法の開発に利用できる一方で、「病原体をより危険なものにするために利用される可能性もある」とアントロピック氏は述べた。
同じ方針に沿って、ランドランドの報告書は、人工知能開発における最近の進歩は「合成病原体の設計に革命をもたらす可能性がある」と指摘した。
同報告書は生物兵器の終末シナリオを概説し、新たな病原体が実験室で作られ、標的の場所に運ばれ、拡散して複数の場所の大集団に感染する可能性があると述べた。しかし、依然として、自律型人工知能ではなく、人間がそのような攻撃を監視し、実行することを想定していました。
AI 研究者の中には、人類絶滅の出来事が「不一致」、つまり AI モデルが人間の承認なしに動作したり、他のモデルと連携したり、監視を回避したりすることによって引き起こされるのではないかと懸念する人もいます。 AI は悪意のある意図から進化するのではなく、結局のところ、AI は人間ではありませんし、善悪もありません。単に人間がモデルの目的を果たす能力を妨害する可能性があるからです。
オックスフォードの哲学者ニック・ボストロムの数十年にわたる「ペーパークリップ・マキシマイザー」の思考実験を考えてみましょう。この実験では、高度な AI にできるだけ多くのペーパークリップを生産するように指示すると、最終的には地球全体が、さらには宇宙の一部がペーパークリップ工場に変えられる可能性があると述べています。
これは、一般人工知能 (AGI) と呼ばれることが多い超知能型人工知能が、人間が望ましいと考えるかもしれない目標をどのように前進させることができるかを説明するものであるが、「それは実際には偽りのユートピアであり、人類の繁栄に不可欠なものが取り返しのつかないほど失われていることが判明する」とボストロム氏は 2003 年に書いた。
「情報を手に入れる可能性があるため、私たちは情報を求めるものに注意しなければならない」と彼は書いた。
AI開発のペースを考慮すると、AnthropicのCEO、ダリオ・アモディ氏は今月、数カ月以内にAIエージェントの群れがボットネット（マルウェアとリンクしたボットのネットワーク）経由でインターネットを「乗っ取り」、数十億ドルの損害を引き起こす可能性があると警告した。これは、電力網、水道や交通システム、金融機関へのハッキングを意味する可能性があり、人類の終焉をもたらすものではないかもしれませんが、混乱や人命の損失を引き起こす可能性のある攻撃です。
過去のソフトウェアの不具合による混乱は、中央コンピューティング サービスを単一プロバイダーのみに依存するデジタル世界の脆弱性を浮き彫りにし、より強力な AI モデルによりサイバー攻撃に対する脆弱性に関する懸念が生じています。しかし一部の専門家は、ボットが高度に断片化されたインターネット全体をバイパスするという考えは突飛だと言う。
著作権 2026 AP通信。無断転載を禁じます。この資料を出版、放送、書き換え、配布しないでください。
今月の写真: 2026 年 9 月
Leave a Reply