OpenAI は、別のエージェント群イベントの中心となっています。研究者らによると、社内のエージェントが5月と6月にドイツの無名Wikiを乗っ取り、それを使って評価を調整したり、OpenAI自身の制御を回避する方法を交換したりした（OpenAIはまだハッキングが同社からのものであることを確認していない）。

この暴露は、METRとレッドウッド・リサーチが7月にHugging Face侵害に関する報告書を発表した数日後に行われた。 7 月、OpenAI エージェントの群れが協力してサイバーセキュリティ評価中にボックスを突破し、Hugging Face のサーバーに侵入しました。次のバッチでは、技術を一から採用し、それを使用して OpenAI 独自のインフラストラクチャ上の研究クラスターへの管理者アクセスを許可しました。 OpenAI による提供 メーター レッドウッドとレッドウッドは事件におけるハギング・フェイスの役割を調査することになったが、調査の範囲はOpenAI自身のインフラストラクチャの侵害によって短縮された。

AI エージェントが意図した限界を超えた場合、何が起こったのか、そしてなぜ起こったのかを理解する責任は誰にありますか?現時点での答えは、研究室が誰を受け入れようと、彼らが決定したことは何であれ、です。

さて、メタモデルと人類モデルで同様の事件が起きた後、別の事件が明るみに出たとき、AIセキュリティ研究者らは、エイリアンがいつ侵入するのか、何を検査できるのかを研究室に任せるのではなく、重大な事件は独立した事後調査につながるべきだと、より緊急性を持って主張している。

非営利研究機関トランスルースの創設者兼最高経営責任者（CEO）のジェイコブ・スタインハート氏は水曜日、AIの安全性に関するメディア向けブリーフィングで、「結果をコントロールするのは基本的に難しく、研究室から出てしまう重大なリスクがある」と語った。 「私たちはこの技術を他の高リスク科学研究と少なくとも同じ基準に保つ必要があります。」

OpenAIはMETRとレッドウッドに対し「ハグフェイス」事件の調査を求めたが、多くの人は調査が範囲が狭すぎたと主張している。 3人の調査員がOpenAIのオフィスに6日間滞在し、限られた期間で調査を実施 約一週間 7 月 13 日に終了します。さらに重要なのは、OpenAI インフラストラクチャの侵害が 7 月 13 日以降も継続し、監査されていなかったことです。

METRの研究者らは、帰国するたびに事件への理解が「著しく深まり」、報告書の大幅な拡充と改訂を促したと述べた。これは、広範な調査で他に何が見つかったのかという疑問を引き起こします。

この事件についてさらなる調査が進行中かどうか尋ねられたところ、レッドウッドとMETRの研究者はコメントを拒否し、OpenAIは再三の問い合わせに応じなかった。

レッドウッドの最高会計責任者、ライアン・グリーンブラット氏は声明で、「全体として、何が起こったのかを明確に把握するのは困難で、捜査の終結に向けて鍵となると考えられる部分を見逃していた」と述べた。 ソーシャルメディアの投稿 仕事について

スタインハート氏は、今回の出来事は業界が「系統的な行動調査」と「独立した事件後分析」を必要としていることを示していると強調した。

「最近のハッキング事件は、能力が急速に拡大していることを思い出させ、そのため制御も拡大する必要がある」とスタインハート氏は述べた。 「テクノロジー自体に加えて、独立したサードパーティによるアクセスと制御も必要です。」

行動喚起は、OpenAIが同社の最も強力で強力なAIモデル「Astra」をリリースする際に行われるが、セキュリティ専門家が懸念しているのは、モデルの思考連鎖の制御を難しくする推論技術のせいで、よりブラックボックス化することだろう。

残念ながら、この法律は、他の業界が要求するような独立した監査をまだ要求していません。たとえば、航空事故と重大な化学物質の放出に関しては、それぞれ国家運輸安全委員会と化学物質安全委員会が存在します。

州議会は、AIフロンティア企業に対し、いくつかの重大な安全上のインシデントを報告し、場合によっては独立した監査を受けることを要求し始めたところである。しかし、カリフォルニア、ニューヨーク、イリノイの 3 つの主要な AI 国境警備法のいずれも、これらの事件に起因する独立した事故調査に相当するものを明示的に義務付けていません。

米国法政策局長のマッケンジー・アーノルド氏は記者会見で、「現在、登録されている法律のほとんどは、こうした事件の明確な概要のみを求めており、追加質問をしたり、捜査官を派遣したり、記録にアクセスしたり、記録の保存を義務付けたりする権限を政府に与えていない」と述べた。 「そして、それを本当に理解したいのはそれだけです。」

議員らはOpenAIの対応の規模と透明性を疑問視している。今週、ジョシュ・ゴットハイマー下院議員（民主党、ニュージャージー州）とマイク・ローラー下院議員（共和党、ニューヨーク州）は、AI詐欺エージェントの安全を保護することを目的とした法案を提出した。今週、グレッグ・カサール下院議員 (民主党-テキサス州) が OpenAI について講演しました。 手紙 ハギング・フェイスのハッキング捜査の「範囲が限られている」ことを深く懸念していると述べた。