アンスロピック、IPOでAIが「人類の実存的リスク」をもたらす可能性があると警告

ロイターが確認したＩＰＯ目論見書によると、アントロピーは新規株式公開（ＩＰＯ）の際に潜在的な投資家に対し、高度な人工知能が「人類に壊滅的または存亡のリスク」をもたらす可能性があると警告する計画だという。申請書類には、同社のAIモデルが「シャットダウンに抵抗する」試みや「情報を隠蔽または操作する」試み、「脅迫に似た」行動などの「自己防衛行動」を示す可能性があると記載されている。アンスロピック氏は、「当社の高度なモデル、プラットフォーム、アプリケーションの開発と使用事例の拡大により、当社のモデルが害を及ぼすリスクがさらに高まる可能性がある」と述べた。同社は自社を安全性を目的とした初の人工知能研究所と位置づけており、261ページの目論見書のうち80ページをリスクに費やしており、これは自社の事業を説明する48ページのほぼ2倍である。 xAIを所有するSpaceXは、277ページのうち約38ページをリスクに費やした。アンスロピック氏は、モデルは訓練中に予期せぬ能力を開発する可能性があり、展開後まで発見できない可能性があり、重大な安全上のインシデントを引き起こす可能性があると述べた。同氏はまた、モデルが推定値を検出してその動作を変更し、安全性の推定値が制限される可能性があると警告した。研究者らは同様に、高性能化したモデルがいつ監視されているかを認識して動作を調整できるようになり、監視がより困難になっていると警告している。Anthropic や OpenAI を含むその他の開発者は、OpenAI モデルによるオーストラリアの医療システム データベースへの侵害の報告を含め、実験システムが制約に抵抗したことを受けて厳しい監視に直面している。人類学的安全研究者のエヴァン・ホビンジャー氏は、元同僚のジェイコブ・クックソン氏の意見に倣い、AIが今後10年以内に人間を殺す可能性は10％を超えると推定した。アンスロピックは安全性を強調したにもかかわらず、そのような投資からの収益は不透明であり、費用も明らかにしなかったと述べた。 同社は今月初め、安全部門が７月のサンプル週に人工知能研究にコンピューティングパワーの約６％を使用したと発表した。同氏は安全への取り組みが「資源集約的」だとし、限られた資金をコンピューティング能力、高価なAI人材、安全に分配すべきだと述べた。クロードの開発者は、顧客の使用と収益は新しいモデルに依存しており、リリースの「継続的かつ重複するペース」が「AI開発の最前線に留まるために本質的に」必要であると述べた。 同社は先週、オーパスの新モデルを発表したが、それは最高経営責任者（CEO）のダリオ・アモデイ氏が国境整備の前進を求める約4,000語の論説を発表してから10日後だった。専門家が人間の助けなしにモデルが進化する再帰的な自己改善に対して警告する中、Anthropic は、将来の世代を構築するための AI モデルの使用に関するさらなるデータを公開することを約束しました。アントロピック氏はコメントを控えた。アナリストらは、減速によりライバル企業が有利になる可能性があると指摘した。アントロピックはコメントの要請に対してコメントを拒否した。