OpenAI、安全上の懸念により最新の AI モデルのリリースを中止

AIの巨人は、GPT-6.1アストラが内部テスト中に調整基準を満たせなかったと述べている。

OpenAIは、内部テスト中に安全上のリスクを指摘したことを受けて、最新の人工知能モデルをリリースしないと発表したが、これはフロントエンド技術の展開を遅らせる業界の最新の動きである。

AI巨人の月曜日の発表は、AIエージェントの暴走に関わる事件が相次ぎ、AIが壊滅的な危害を引き起こす可能性について議論が激化し続けている中で行われた。

OpenAIの安全システム責任者であるサチ・ジェイン氏は、GPT-6.1アストラは内部テスト中に人間の欲求に従って動作するという同社の基準を満たしていないと述べた。

ジェイン氏はアルジャジーラへの声明で、「安全性と調整に関連するものには何事にもトレードオフがある」と述べた。

「範囲内にとどまることと、摩擦に遭遇した場合でもモデルが実際にタスクを実行する方法に関して怠惰を避けることとの間の適切な境界線を見つける必要があります。」

GPT-6.1 Astraはいくつかの点で前モデルよりも改良されているものの、このモデルは「範囲と認可、そしてユーザーが行った作業の種類についてユーザーに伝える方法」が不十分だとジェイン氏は述べた。

「もちろん、社内でモデルを開発するか、いつユーザーに出荷するかに関係なく、モデル開発が安全であることを確認したいと考えています」とジェイン氏は述べた。

「しかし、ユーザーに送信する場合、安全性と調整の点で非常に高いハードルが課せられます。」

AIが人間の制御から逃れることへの懸念から、業界では、研究者がより強力な保護手段を導入する時間を確保するために開発を遅らせるよう求める声が高まっている。

クリエイターのクロード・アンスロピック社の最高経営責任者（CEO）であるダリオ・アモデイ氏は、今月初めの影響力のある記事の中で、AI開発者に対し、壊滅的な危害のリスクを軽減するために「ラインを歩く」よう呼び掛けた。

アモデーの呼びかけは、OpenAIのCEOであるサム・アルトマン氏やxAIのイーロン・マスク氏を含む反対派によって支持されたが、メタの責任者マーク・ザッカーバーグ氏など他の主要な業界関係者は協調的な減速の必要性を否定した。

AI モデルが隠蔽されるリスクは、OpenAI が自社のモデルが管理されたテスト環境から抜け出し、ソフトウェアスタートアップの Hugging Face をハッキングしたことを明らかにした 7 月以来、注目を集めています。

この事件の調査のために OpenAI と契約した 2 つのセキュリティ研究組織である METR と Redwood Research によるその後の報告書では、約 700 人のエージェントがスタートアップを攻撃し始める前に、約 1,200 人の孤立した AI エージェントが相互に通信する方法を見つけたことが判明しました。

モントリオール大学でAI開発の一時停止を支持するデイビッド・クルーガー氏は、OpenAIの決定を歓迎する一方で、人工知能が実存的リスクをもたらすという懸念を和らげるにはほとんど役立たなかったと述べた。

クルーガー氏はアルジャジーラに「AIが安全に構築できるほどうまく機能する仕組みは理解していない」とアルジャジーラに語った。

「不正な動作を止めることはできませんし、不正な動作をするかどうかを予測することもできません。また、不正な動作をした場合に制御を維持できるかどうかもわかりません。これらは未解決の問題であり、信頼性の低いヒューリスティックのみがあり、原則に基づいた解決策はありません。」

クルーガー氏は、AIが進歩するにつれて安全性の確保はさらに困難になるだろうと述べた。

「我々に必要なのは、人工知能の開発に対する即時無期限の国際凍結だ」と同氏は述べた。 「私たちはより強力なAIの開発をやめるべきです。」