Anthropicを去ったあるAI研究者はBBCに対し、この技術に取り組んでいる人々はその進歩のスピードとそれが人類にとって何を意味するのかを「本当に恐れている」と語った。

ジェイコブ・コクソン氏は土曜日、BBCのローラ・クエンスバーグ氏に、制御不能になった人工知能への懸念を提起した自身の辞任メッセージが拡散したことについて語った。

「現在の進歩速度を緩めなければ、近い将来、人類全員が死ぬ可能性が非常に高いと私は信じています」と彼は語った。

同氏の辞任は、同セクターの安全保障上の懸念が高まる中で行われ、その中には同氏の元上司であるアントロピック社のダリオ・アモデイ氏が土曜日のエッセイで景気減速を主張したことも含まれる。

しかし、一部の業界関係者は、株式市場への参入の可能性や、ライバルの失速につながる即時規制を前に、賭け金が高すぎると2大AI企業を包囲する可能性があると指摘している。

AIモデルの学習に焦点を当てて研究を行っている英国出身の27歳コクソン氏は、イーロン・マスク氏やOpenAIのサム・アルトマン氏を含むAIリーダーらもアモデイ氏と同様の懸念を共有していると語った。

「彼らは全員、AIによる乗っ取りの可能性に警戒する必要があると発言した。全員がそれについて話し合った。AIによる乗っ取りは人類の滅亡を意味する」とコクソン氏は語った。

コクソン氏によれば、答えるのが最も難しい質問は、それがどのようなものになるかということだという。

「思いつく具体的なシナリオはどれも SF のように聞こえます」とコクソン氏は言うが、すでに起こった展開は過去にはフィクションのように聞こえたと指摘する。

潜在的なシナリオには、AIエージェントが医療研究所をハッキングして「致死性のウイルスを自律的に生成」することが含まれる可能性があるとコクソン氏は述べた。同氏が挙げるもう一つの例としては、「世界が運営する重要なインフラ」にAIが侵入する可能性がある。

研究者は、OpenAI の最近のレポートに、自社のテクノロジーがどのようにして Hugging Face と呼ばれるオンライン プラットフォームをハッキングしたかを詳述していると指摘しています。

「彼らは人間の指示なしに、自分たちでそれを行った。彼らはこのハッキングを選択した。それは物事をより速くし、より怖くすることの組み合わせだった」とコクソン氏は語った。

アモデイ氏のコメントで言及された危険性の 1 つは、インターネットを乗っ取る可能性のあるスーパーコンピューターのように動作するボットの群れでした。

コクソン氏は、このシナリオは半年から１年以内に現実的になる可能性があると述べた。

Anthropic と OpenAI は、記録破りの可能性のある新規株式公開に向けて準備を進めていると伝えられています。業界関係者らは、AIの危険性や威力に関するコメントがジョークを生み出すことを目的としている可能性があると示唆している。他の批評家は、Anthropic が競争を遮断するために規制を強化しようとしており、Anthropic と OpenAI が複占状態になっていると述べている。

コクソン氏の見解は、AIプラットフォーム「ハギング・フェイス」のディレクター、クレメント・デランジュ氏からも疑問視された。

同氏は『X』で「申し訳ないが、AI絶滅の脅威についてジェイコブに質問するのは、気候変動についてACに質問するようなものだ」と述べ、「それが必ずしも興味深いとも間違っているとも言っていないが、物事を大局的に考えてみましょう」と語った。

しかし、土曜日のアモデイ氏のエッセイの後、デランジュ氏は、アントロピックのボスが提案する解決策の一部になることを申し出た。

Nvidiaのボス、ジェンセン・フアン氏も先週、投資銀行ゴールドマン・サックス主催のカンファレンスで群衆の前でコクソン氏のコメントについて議論したと同グループの関係者数人がBBCに語った。彼らは、彼がそれらを嘘だと切り捨てたと言った。

ファン氏は以前、AIが「人類の終焉をもたらす」という考えは「全くのナンセンス」だと述べた。

また、同氏はAI開発に商業的関心を持っている可能性があるが（エヌビディアはAIシステムを動かすチップを製造している）、同氏のコメントは現従業員や元従業員からの警告に対するシリコンバレーでの反応の高まりを反映している。