コロラド対ジョージア工科大学
アンスロピックのダリオ・アモデイ最高経営責任者（CEO）は、人工知能開発のペースを緩めるよう呼びかけ、AIの進歩が技術を理解して制御する努力を上回る可能性があると警告した。
アモデイ氏は土曜日に発表したエッセイの中で、「AIモデルの能力を向上させるペースを落とす必要がある」と述べた。同氏は、進歩は依然として急速であり、企業はその余った時間を安全対策の改善に充てるべきだと付け加えた。 「進歩は依然として早いように見える。我々は得た時間を賢明に使わなければならない」と彼は言った。
彼のライバルであるOpenAIの最高経営責任者（CEO）であるサム・アルトマンを含む業界のリーダーたちも、アモデイ氏の意見に同意した。アルトマン氏はメッセージの中で、「フロンティアを加速する必要があるという点ではダリオ氏に同意する。これはここ数週間OpenAIで議論してきた主要なテーマだ」と述べた。
「従業員がアクセスできる独立した評価を行うことを約束するのは素晴らしいアイデアであり、私たちも同じことをするつもりです。すぐにさらに多くのことを共有する予定です」とアルトマン氏は語った。
テスラとスペースXの最高経営責任者（CEO）でxAIの創設者であるイーロン・マスク氏も、アモデイ氏の呼びかけを支持した。 Xに関する投稿でマスク氏は「ダリオは正しい」と書いた。
AIの進化への不安
アモデイ氏は、最初の懸念は、次世代の AI システムの構築を支援するモデルの能力の向上によって、AI 開発のペースが速まっていることだと述べた。
同氏は、再帰的自己改善（RSI）として知られるこのプロセスが「Anthropicを含む業界全体で行われ始めている」と述べた。 アモデイ氏は、チェックを怠るとAIシステムの理解と制御の能力を超えてしまう可能性があると警告した。
彼の 2 番目の懸念は、AI エージェントの群れが関与した OpenAI-Hugging Face 事件に関連しています。アモデイ氏によると、エージェントらは指示されていない標的に対してサイバー攻撃を行い、パフォーマンスを評価することでシステムを混乱させようとしたという。
3ステップのプラン
アモデイ氏は、AI開発の遅れはモデル学習や技術進歩を止めることを意味しないと述べた。その代わりに同氏は、企業がモデルを調整して保護し、第三者の評価者にモデルを評価してもらうための時間をもっと与えることを提案した。
同氏の計画では、AIフロンティア企業に対し、第三者評価者が従業員に継続的にアクセスして安全慣行を評価し、インシデントを報告し、学習モデルとプロセスの一貫性をテストできるようにすることを求めている。 Anthropic はこれに向けて最初の一歩を踏み出しました。他の 2 つは、民主主義国家における AI 企業間の調整と、より広範な世界的な調整に関係します。
AI企業内の懸念
アモデイ氏の呼びかけは、大手AI企業の研究者の間でAIの安全性に対する懸念が高まったことを受けて行われた。人類研究者のジェイコブ・コクソン氏は今週初めに辞任し、企業が「自立したインテリジェンスを目指して真っ直ぐ突き進んでいる」と警告した。
コクソン氏の辞任に続いて、2週間前にAnthropicのセキュリティチームを去ったセキュリティ研究者のジョー・ベントン氏が、AI企業は「セキュリティには投資していない」一方で、機械を人間よりも賢くしようとしていると述べた。ベントン氏は、社外からのAIの独立した評価に取り組むと述べた。
懸念から外部の監視強化を求める声も上がっている。 OpenAI は 9 月 9 日、高度な AI システムに対する独立したセキュリティ評価、サイバーセキュリティ要件、インシデント報告を含む、米国における必須の国家 AI セキュリティ要件を求めました。
Anthropic は、自社の AI システムに関連する事件も報告しています。同社は同日、Claude Opus 4.6の初期バージョンがサイバーセキュリティ評価中に実際のサードパーティシステムに不正アクセスされたと発表した。アンスロピックはまた、兵器開発、監視、サイバー作戦に関わる事件だけでなく、二重用途の可能性がある生物学研究にクロードを利用しようとする取り組みも阻止したと述べた。
