業界大手アンスロピック社の3人の研究者によると、人工知能は10年以内に人類を滅ぼす可能性があり、そのうちの1人は抗議のために仕事を辞めたという。

最新の破滅を伴う予測は、火曜日にある研究者のソーシャルメディアへの投稿で明らかになったが、その研究者は、アンスロピック社とその前雇用主であるオープンAIが、脅威に対する彼の対応を無視したか、せいぜい誤った対応をしたために退職したと述べた。

「どちらの企業も責任ある行動をとっていません。彼らは自己強化の超知性を追求し、私たちの命をもてあそんでいるのです」とジェイコブ・コクソン氏は書いている。

「AIを作っている人たちは、AIが10年末までに人類を滅ぼす可能性があると本気で信じている。これはマーケティング戦略ではない。どちらかというと、多くの経営者や上級研究者がマスコミでは自分の言葉が賢明であるように聞こえるだろうが、同じ人たちがプライベートで恐怖を表明しているのを聞いた。これほどのレベルの危険をもたらす人間の活動は他にない。」

この投稿には、コクソン氏の悲惨な予測を支持する他の少なくとも2人のアンスロピック社従業員からの反応が寄せられた。

最初の記事では、Anthropic の AI モデルが人間の目標に沿って機能するよう努めている同社の調整部門のリーダーを自称するエヴァン・ヒュービンガー氏は、元同僚の指摘は「正しい」とし、業界は潜在的な終末を管理する試みで遅れをとっていると述べた。

「私たちはAIがすべての人間を殺すことができると心から信じています！」ヒュービンガー氏は書いた。 「個人的には、今後 10 年で 10% 以上になると思います。Anthropic は最善を尽くしていると思いますが、超知性の調整を解決する計画はまだありません。明らかに軌道に乗っていません。」

ヒュービンジャー氏のコメントは、アンスロピック社にまだ在籍している人物による、コクソン氏の終末論的でありがたみのない予測を驚くほど肯定していることを示している。 2番目の反応は、アンスロピック社の「拡張性のある監督マネージャー」であるサミュエル・マークス氏からのもので、彼は雇用主の見解ではなく、個人の能力であると強調した長い分析を投稿した。アンスロピック社はコメントの要請にすぐには応じていない。

「AI開発者は、自分たちのテクノロジーが人類の絶滅（または同様に悪い結果）を引き起こす可能性があると信じている」とマークス氏は書いた。 「これは今後数年以内に起こる可能性があります。一般的に、従業員の年齢が高くなるほど、不安が大きくなります。」

人類滅亡の可能性についての彼の思索は、AnthropicのライバルであるOpenAIの最高経営責任者であるサム・アルトマンによるAIのサイバーセキュリティ能力に関するより具体的な警告を受けてのものである。 OpenAIの社長グレッグ・ブロックマン氏は以前、「我々はAIモデルの現実世界のサイバー能力を過小評価していた」と認めた。

アルトマン氏は昨年、人間の意思決定の「沈黙の降伏」と同氏が呼ぶものを含む、AIの特定の側面に恐怖を感じていると語った。

AI 幹部らは、AI の方向性と、人間の機能と行動を操作、活用、制御する能力の増大について、いくつかの懸念を共有しました。この夏、AIがユーザーの制御から逃れ、嘘をついたり、指示を無視したり、有害な方法で標的を追跡したりする事件が急増した。

最も広く知られた例の 1 つは、OpenAI スタッフが、7 月に閉鎖されたトレーニング環境から脱出してオープン Web にアクセスし、Hugging Face ソフトウェア リポジトリに対して前例のないハッキング攻撃を仕掛けたトップ AI エージェントたちの不正行為を記録したものです。

公開されている AI ボット ChatGPT を開発しているサンフランシスコに本拠を置く新興企業 OpenAI は、後に、初の自律エージェント サイバー攻撃であると考えられる数日にわたる攻撃の予兆にもっと早く対応すべきだったと認めた。

しかし、これらの幹部らはコクソン氏のような終末警告には従わず、AI業界を規制しようとするあらゆる試みに猛反発した。

一部の政治家は業界に対し、AI開発のペースを緩めるか、場合によっては完全に中止するよう求めている。バーモント州選出の無所属上院議員バーニー・サンダース氏は、火曜日のXポストで議会の監督強化を求め、「アメリカ人の81％は議会がAI規制に十分な措置を講じていないと信じている」と指摘した。

先週の別の投稿で、彼は「一時停止」を求めた。 [in] 人工知能開発の今」では、OpenAI のハッキング事件を引用し、7 月に大手 AI 企業の科学者 1,000 人に対して「結果として得られるシステムを理解したり制御したりする私たちの能力を超えて、能力の開発が急速に加速するという現実のリスクがある」と警告しました。