建築とデザイン – コロラド対ジョージア工科大学

Cloudflareはストレージ要件を削減するためにキャッシュのトランスコーディングをテストします

Cloudflareは最近、対象となるキャッシュコンテンツ（主にHTML、JSON、CSS、JavaScriptなどの非圧縮テキスト）を、ディスクに保存する前にZstandardを使用して圧縮する「Cache Transcoding」と呼ばれるプロトタイプを説明しました。ハイパースケーラーは、このアプローチによりペタバイト規模の追加の有効キャッシュ容量が提供される可能性があると見積もっていますが、さらに広範なテストがまだ必要です。この記事によると、コンテンツはキャッシュに入るときに一度圧縮され、提供されるときに解凍されるため、必要な追加処理は比較的少ないとのことです。圧縮により、対象となるコンテンツのサイズが約 2.8 倍に縮小され、既存のサーバーにより多くのデータを保存できるようになり、データセンター間で転送されるデータ量が削減されました。これを実現するために、Cloudflareは、Facebookがリアルタイム使用のために開発した可逆圧縮アルゴリズムであるZstandardと、RustベースのプロキシフレームワークであるPingoraを利用しています。アーシ・パテルはこう書いている。 CPU をわずかに増やすと、Cloudflare にペタバイトの有効キャッシュ容量が与えられ、データセンター間で転送されるデータが削減されます。エンコードコストは、アセットがキャッシュに入るときに一度だけ支払われます。資産が再利用されるたびに、ストレージと帯域幅の節約が継続されます。 Cloudflareキャッシュのトランスコーディングは、圧縮可能なテキストを含み、正しく返され、少なくとも4 KiBである非圧縮応答のみを圧縮します。範囲リクエスト、事前圧縮またはバイナリコンテンツ、サイズが不明な応答を除外します。このしきい値は、対象となるデータの約 1% だけを犠牲にしながら、多くの小さなオブジェクトの処理を回避します。このしきい値と Zstandard 圧縮レベルは両方とも、CPU とストレージのトレードオフに基づいて調整できます。パテルは次のように付け加えます。トランスコーディングは、すべてを圧縮することを意味するわけではありません。画像、ビデオ、フォントは通常、すでに圧縮されています。私たちのトラフィックサンプルでは、このメディアセグメントはリクエストの 21.4% を占めましたが、バイト数の 63.3% を占めていました。再度圧縮すると、無駄に CPU が消費されてしまいます。 …

「組織の第二の頭脳」としてのメタのビルディングエージェントのレシピ

Meta では、単に文書を保存したり関連情報を取得したりするのではなく、領域専門家のロジックと専門知識を取り込むように AI エージェントを設計する方法について説明します。「組織の第二の脳」と呼ばれるこのシステムは、特殊なコンプライアンス領域向けに構築されたが、このアーキテクチャはセキュリティ、財務、エンジニアリング、調達などの分野に一般化されているとメタ氏は主張する。私たちは、特定のドメインの二次専門家として機能する AI エージェントを作成しました。これにより、組織内の誰もがアクセス、共有、活用できる深い専門知識に簡単にアクセスして保存できるようになります。 Meta 氏によると、そのアプローチは、「構造化され監査可能な知識アーキテクチャ」と「モデルのリサイクルを行わずに検証および回帰テストされた更新に専門家のフィードバックを収集する」自己改善ループを組み合わせることで、従来のドメイン固有のエージェントとは異なります。アーキテクチャは 4 つの層で構成されています。組織内のすべての知識を統合するための知識システム。エージェントが何を知っているかとどのように推論するかを分離する推論パイプライン。自動化されたベンチマークを提供する評価フレームワーク。そして前述の自己改善ループ。ナレッジシステムは、厳密な分類法に基づいて編成された 200 を超える構造化ファイルから抽出された専門知識を使用します。これらには以下が含まれます位置ファイル認可されたノウハウを取得する。分類および語彙ファイルエンティティの種類、活動カテゴリ、分類レベル、および組織内で使用されるその他の用語の用語集として機能します。ルーティングインデックス埋め込まれた類似性にのみ依存せずに、エントリを関連ファイルにマッピングします。 e ゲートウェイファイルエージェントがいつ専門知識を安全に適用できるかを判断するテストを定義します。推論層は「レシピ」を使用して、エージェントが問題を分析する方法を定義します。レシピはコンポーネントであり、エージェントが最初に何を調べる必要があるか、各ステップでどのような知識をロードするか、どのような決定手順に従うか、分析がいつ完了したかを判断する方法を指定します。レシピを使用すると、失敗の原因が知識の不足なのか、推論手順の誤りなのかを判断することもできます。 Meta のアプローチの重要な特徴は、分析に事前定義されたチェックポイントを使用することです。このチェックポイントでは人間による制御が必要で、あいまいなケースはドメインの専門家にエスカレーションされます。専門家が誤りを特定すると、知識不足、推論手順の欠陥、または専門家間の真の曖昧さが原因であっても、修正は永久に記録されます。これを実現するための重要なアイデア自己改善ステアリングホイール可能なのは、組織の知識をモデルの重み付けから除外し、明示的な推論手順を通じてアクセスされ、厳密にテストされるバージョン管理されたテキストファイルに保存することです。…