人類安全保障の上級研究者は、人工知能研究所とそのライバルたちが「非人道的なシステム」を作成するほど無謀になるのではないかとの懸念から同僚が辞任したわずか数時間後、10年代末までに人工知能が「人類を皆殺し」にする可能性は10パーセント以上あると述べた。

で 役職 Anthropic社でAIシステムのトレーニングを行った研究者のジェイコブ・コクソン氏は、退任を発表したXについて、同社のセキュリティに対する取り組みが緩いことが原因で退社したと述べた。以前にOpenAI向けのシステムを訓練したことのあるコクソン氏は、「AIを構築している人々は、AIが10年末までに人類を滅ぼす可能性があると真剣に信じている」にもかかわらず、2社のAI企業が「知能を自己改善し、私たちの命を賭けている」と非難した。

業界関係者らは、自己改善型AIシステムの潜在的な危険性について長年懸念を表明しており、再帰的自己改善とよく表現されるループの中で人間の制御が効かなくなる可能性があると警告している。まだ実現されていませんが、企業はこの目標を積極的に追求しており、今日の AI コードの多くは AI で書かれています。

これに対して、Anthropic の AI セキュリティ チームの 1 つを率いる Evan Hubinger 氏は次のように述べています。 言った 同氏はAIの自己認識を懸念しており、それは「私たちが思っていたよりも早く起こっている」と付け加えた。彼もコクソン氏の説明に同意した。同氏は、「我々はAIがすべての人間を殺す可能性があると強く信じている」と述べ、「今後10年以内に」10人に1人以上の確率で死亡する可能性があると個人的に見積もっている。

しかし、ヒュービンガー氏は、高度なAIが安全で人間の価値観と互換性があることを保証するためのアンスロピック社には「計画はまだなく」、「開発の軌道に乗っていないのは明らかだ」と述べた。コクソン 彼は言い​​ます 企業は高度なシステム開発の「競争に巻き込まれ」ており、そのため「リスクにもかかわらず」前進しています。

コクソン氏の退職は、同社のセキュリティに対する懸念を受けて元OpenAIメンバーが設立した会社であるAnthropic社からの最も注目を集めた従業員の退職の1つである。近年、多くの研究者が OpenAI を廃止する決定の背後にある動機としてセキュリティ上の懸念を挙げています。