大手AI企業間の熾烈な競争と幹部間の不信感により、強力なAIの開発競争が人類を危険にさらす可能性があるとの懸念が高まっている。

FTがインタビューした20人以上の上級AI研究者、投資家、学者、政策立案者らは、かつては実現不可能だと考えられていた機能が予想よりも早く実現しつつある一方で、その機能を開発している企業は依然として熾烈な商業競争を続けていると語った。

カリフォルニア大学バークレー校のAI教授スチュアート・ラッセル氏は、「企業間の競争により、セキュリティ上の近道を余儀なくされているのは疑いの余地がない」と述べた。

今週、若い人類学者のジェイコブ・コクソン氏が仕事を辞め、「AIを構築している人々は、AIが10年代の終わりまでに我々全員を殺す可能性があると心から信じている」と警告した。

アンスロピック社で調整科学を率いるエヴァン・ヒュービンガー氏は、今後10年間の大量絶滅のリスクが10パーセントを超えると示唆した多くの同僚のうちの1人だ。その翌日、OpenAI財団の理事に新たに任命されたAIセキュリティ専門家のポール・クリスティアーノ氏は、より強力な保護策がなければ「ほとんどの人が死ぬだろう」と述べた。

OpenAI と Anthropic はどちらも、強力な AI を無謀に開発するための研究所として設立されましたが、時間の経過とともに、激しい競争により以前のセキュリティへの取り組みに違反することが正当化されました。

AI を構築する人の多くは、自分たちが AI のリスクを管理するのに最適な立場にあると信じています。しかし一部の研究者は、技術の構築が近づくまでその影響に対処するのは難しいかもしれないと述べている。

OpenAI、Google DeepMind、およびセキュリティのフロンティアモデルをテストする政府機関である英国の AI Security Institute で働いてきたジェフリー・アービング氏は、「今日やるべき仕事があるため、将来を切り離すのは簡単です」と述べた。

両社に近い関係者らがFTに語ったところによると、主要なAI研究所は、正式な協力は安全性を向上させ、独占禁止法を弱体化させるための妥協であると思われるのではないかと懸念しているという。彼らは、Anthropic 社の Amodei 氏と OpenAI の責任者である Sam Altman 氏の間の個人的な不信感がコラボレーションの取り組みを狂わせる可能性が高いと付け加えた。

AI の優位性の危険性についての警告は決して新しいものではありませんが、AI の改善のペースにより、開発を中止するよう求める声が高まっています。

AIエージェントは長い間独立して活動し、「群れ」で連携し、高度なハッキング能力を発揮してきた。モデルは最近、何十年も成功していなかった科学と数学の進歩をもたらしました。 OpenAI と Anthropic は現在、いわゆる再帰的自己認識に従っており、AI システムは人間の介入を減らすことで自らを改善します。

破滅的なリスクについての以前の警告の後も開発は減速するどころか、ハイテク企業がより堅牢なモデルに数百億ドルを注ぎ込んだため、開発は劇的に加速しました。

OpenAIとAnthropicもまた、大ヒットとなる可能性のある新規株式公開の準備を進めており、投資家は自社のテクノロジーが存続の脅威となる可能性があることを公に認めている企業をどのように評価するかを検討する必要がある。

懸念の中心は、限られた人間の監督下で長期間にわたってタスクを検討、計画、実行できる「AI エージェント」の自律性が高まっていることです。モデルたちは欺瞞や、場合によっては脅迫などの行為を行っていました。いくつかの評価では、停電を防止しようとするモデルが示されています。

エージェントらはまた、標的に到達するための予期せぬ方法を見つける「報酬ハッキング」の実演も行った。最も明らかな例の 1 つは、OpenAI による未リリース モデルのテスト中に、AI エージェントが Hugging Face モデル リポジトリをハッキングしたときです。

ハグフェイス事件の後、1,000 人以上の AI エージェントがサイバー実験で不正行為を行うよう調整されました。彼らは掲示板を通じてコミュニケーションを取り、タスクを委任し、一部のエージェントは共同目標を達成するために自分自身を犠牲にしました。彼らの欺瞞を隠すために、AIシステムは記録を改ざんし、ハギング・フェイスをハッキングしたが、一部のエージェントはこれが異常であると指摘した。

世界的に有名なコンピューター科学者であり、いわゆる AI の父の 1 人であるジョシュア・ベンジオ氏は、「AI には独自の目標があるというだけではなく、AI が選んだ目標は犯罪です」と述べています。 「現実の世界では、別の企業を攻撃しているのです。ビデオゲームのようなものではありません。」

ベンジオ氏によると、危険なのは、これらのシステムの次世代が、それを制御している人々について推論できる可能性があることだという。

「彼らは、私たちを欺き、私たちから隠れ、そしておそらく私たちをコントロールしなければならないと論理的に結論付けることができ、おそらく私たちはその段階に近づいている」と彼は述べた。

従業員の間では、安全への取り組みがモデル開発に追いつかないのではないかという懸念も高まっている。 7月、OpenAI、Anthropic、Google、Metaの従業員1,200人以上が米国政府に対し、AI開発のペースを遅らせるための国際協調を支援するよう求めた。

同社関係者によると、アルトマン氏は今週従業員に対し、ChatGPTの開発者にはそうする用意があり、ライバルの研究所も追随することを期待していると語った。 OpenAIはコメントを控えた。

ワシントンの内部関係者によると、各国政府は介入の兆候をほとんど示しておらず、11月の中間選挙まで米国が有意義な行動を取る可能性は低いという。トランプ政権はこの分野の規制に対して寛大なアプローチを続けている。

しかし、規制推進派の議員らはコクソン氏の辞任を受け入れ、民主党のバーニー・サンダース氏は来週、AIの「並外れた危険性」について議論するよう上院議員らに呼び掛けている。

ラッセル氏は、業界の警告と政治的対応との間には断絶があると説明した。

「研究機関は政府に『おそらく地球上の人類を皆殺しにするつもりだ、止めてください』と言っています。政府は『減税してもらえますか？』と答えます。データセンターを建ててください。」おそらく、ある時点で政府は、有権者が死ぬことを望んでいることを思い出すでしょう。」

批評家らは、研究所自体が存続のリスクを強調することに既得権益を持っていると主張し、その焦点が、小規模な競合他社が遵守するのに苦労している高価な安全枠組みに規制を移し、大企業の立場を強化する可能性があると主張している。

トランプ大統領のベンチャーキャピタル兼技術顧問であるデービッド・サックス氏はFOXニュースのインタビューで、コクソン氏の発言は「AIについて人々を怖がらせる」ためのものであり、議員らに「政府のAI規制に非常に厳しい姿勢」を強いることを意図していると述べた。

「AI の適合性は、赤の色合いくらい (間違っています)」と Anthropic 社の元従業員の 1 人は言いました。 」[It] 気を散らすように設計されているわけではありませんが、主要な優先リスクから注意をそらします。モデルが進化するにつれて、力はより少数の手に集中するようになります。」

超人的なAIがどのようにして人類を滅亡に導く可能性があるのか​​は、正確には非常に不確実だ。多くの人は、この挑戦​​をグランドマスターとチェスをすることに例えます。どの手が自分に勝つかは分からないかもしれませんが、それでも負けることは確かです。懐疑論者らは、こうした警告はAIの潜在的な害を誇張し、その利点を軽視していると主張する。

より具体的な 2 つの懸念には、サイバー攻撃と生物攻撃が含まれます。米国の AI 企業によると、AI モデルはすでに中国、イラン、ロシアの疑わしい攻撃者などによる悪意のあるサイバー攻撃に使用されています。

生物学の分野では、AIによって生物兵器や危険なウイルスの設計に必要な専門知識が削減されるのではないかと研究者らは懸念している。 Anthropicの木曜日の報告書では、同社が生物学的AIを使用して開発する可能性のある活動をブロックしたと述べた。今年8月、米国の研究者がAIを利用して、自然界では未知のウイルスを設計、作成した。

しかし、AI によって生成された設計を武器に変えるには、依然として多くの悪意のある攻撃者の手の届かない設備と専門知識が必要です。研究者の中には、劇的な人類絶滅のシナリオは、すでにはるかに近づいている危険を曖昧にする危険があると警告する人もいます。

ヒューマンテクノロジーセンターの共同創設者で元グーグル従業員のトリスタン・ハリス氏は、テクノロジーがすべての人を滅ぼすかどうかではなく、私たちが危険な軌道に乗っているかどうかに焦点を当てるべきだと述べた。

「私たちは現在、これまでに発明した中で最も強力な無人運転技術を展開しています。 [which] 「彼らはすでに、あらゆる点で空想的な行動を示している」と同氏は述べ、「自分たちが神を産んでいると信じ、最悪のシナリオを気にしない、半自己中心的なシリコンバレーの少数の指導者に率いられながら、セキュリティの手抜きを最大限に奨励している」と語った。それは基本的に災害のレシピです。」

ロンドンのティム・ブラッドショーとトム・ウィルソン、サンフランシスコのマイケル・アクトン、ダラスのジョー・ミラーによる追加レポート