大手人工知能企業アンスロピックのトップは、人工知能モデルの開発ペースを落とし、注意深く監視するよう呼び掛けた。

ダリオ・アモデイ氏は土曜日のエッセイで、AIの開発は問題ではないが、それに伴うリスクは「深刻」であり、企業や政府にはそれに対処する時間を与える必要があると述べた。

同氏は、開発中の AI モデルの独立した監視、業界全体の規制、世界的な規制を含む 3 点の計画を提案しました。

最近、この技術の潜在的なリスクについての懸念が高まっており、その中で最も深刻なものは、今後10年間に「すべての人類を殺害する可能性がある」可能性が10％以上あることを示唆している。

アンスロピックは以前、生物兵器の開発を支援する可能性のある「悪意のある活動」に同社のAIモデルを使用する試みを特定し、妨害したと発表した。

しかし、最も厳しい警告は、過去 2 週間で人類が生き残れないかもしれないと言って辞任した Anthropic セキュリティ チームの従業員 2 名からのものでした。、 外部の 人間よりも賢い機械を開発するAI企業間の競争。

この警告を受けて行動を求める声が高まっているが、ドナルド・トランプ米大統領はこれまでのところそのような懸念を一蹴し、木曜日には「AIに勝てなければ、我々は非常に悪い立場に陥るだろう」と懸念していると述べた。

彼のエッセイの中で、 私たちはフロンティアの歩調を合わせなければならないと呼ばれ、 アモデイ氏は、「次世代の人工知能を構築する能力」を含め、人工知能が「劇的に速く」進歩したと指摘し、エージェントがサイバーセキュリティ攻撃を行っていたことが明らかになったライバルのOpenAIに関する事件を挙げた。、 外部の 7月に攻撃を依頼されていなかった目標を攻撃した。

OpenAIエージェントは「本質的に狂信的な集団として行​​動していた」とアモデイ氏は述べた。

OpenAIはこの事件に関するコメントの中で、7月まで「エージェント間のコミュニケーション活動の重要性がリーダーたちに理解されていなかった」と述べ、その結果同社は特定のモデルや高度なAIツールのトレーニングを遅らせており、AIツールが手に負えなくなるリスクが高まっていると指摘した。

アモデイ氏はエッセイの中で、「利益を達成しながら安全性を確保することを目的とした、バランスの取れたペースでAIを構築する」よう呼びかけた。

これは、「モデルの構築や技術の進歩を停止するが、企業がモデルの調整と保護に十分な時間を確保し、第三者の評価者がこれを確認することを保証する」ことを意味するものではない。

アンスロピックに対し、これを「一方的に」約束するとともに、各国政府に対し「他の国境関連企業にも同様の対応を求める」よう求めた。

同氏はブログの中で、規制がAIの進歩に追いつかない可能性があることを認め、そのためAI企業に対し、規制と並行して「自主的に協力して基準を設定する」よう呼び掛けた。

Anthropic の CEO は、景気減速が業界や世界中、特に中国のトップ開発者との競争に与える影響について言及した。

アモデイ氏は、「減速によってモデルの性能が臨界レベルに達するまでに1～2年余分に時間を稼ぎ、その時間を調整を進めるために使えば、何かひどい問題が起きるリスクを大幅に軽減できると思う」と述べた。

これは「米国の商業的優位性やAI分野でのリーダーシップを犠牲にすることなく」調整された方法で行われなければならないだろう。同氏は、中国の躍進を阻止するには、いかなる減速も制限する必要があると述べた。

同氏は米国政府に対し、米国企業が中国に人工知能チップを販売したり、独裁国家と技術を共有したりすることを阻止する措置を講じるよう求めた。