ML とデータエンジニアリング – コロラド対ジョージア工科大学

LinkedIn が複数教授の蒸留により AI 求人検索を 8 倍高速にトレーニングする方法

LinkedIn は、AI を活用した求職活動の背後にあるトレーニングインフラストラクチャの詳細を公開し、大規模な教師モデルからの知識をコンパクトな 0.6B パラメーター分類モデルに圧縮する複数教師抽出パイプラインについて説明しました。主な貢献は蒸留技術だけではありません。反復に十分な速度を実現するのはシステムの動作です。これには、SGLang 上に構築されたカスタムフレームワークが含まれており、教師モデルをトレーニングサイクルに直接提供します。クリックやアプリなどの関連性やエンゲージメントの目標を向上させるために小規模言語モデル (SLM) をトレーニングするには、トレーニングサンプルごとに 1 つ以上の大規模な教師モデルをクエリする必要があります。それらの教師に出席すると、プロセスが遅くなる可能性があります。これは、LinkedIn の規模で 1 秒あたり数十万のクエリを処理する必要があるランキングシステムにとってボトルネックになります。多くの検索チームと推奨チームは共通の課題に直面しています。キーワードベースのシステムから、LLM によって管理される統合分類器に移行するのが困難です。 LinkedIn は、SGLang を使用して数人の教師向けの蒸留フレームワークを作成しました。このシステムは、さまざまなサイズの教師モデルをロードして提供します。テンソル並列構成とデータ並列構成も処理します。非同期クライアントはトレーニング中に教師に質問します。それらの出力を処理し、蒸留損失に追加します。チームはこの方法をオンライン複数教師蒸留と呼んでいます。ローカルの教師レプリカを使用してこれを複数のノードにわたってスケーリングすると、蒸留プロセスが 3 倍高速化されました。また、レイテンシーも低く抑えられ、高速な反復が可能になりました。サービスのオーバーヘッドを削減し、計算の繰り返しを避けるために、LinkedIn はオフラインマルチ教授蒸留を導入しました。このモードでは、システムは教師の出力を事前計算し、HDFS または NFS に保存します。これらは、リアルタイムでクエリされるのではなく、トレーニングで直接使用されます。…

「組織の第二の頭脳」としてのメタのビルディングエージェントのレシピ

Meta では、単に文書を保存したり関連情報を取得したりするのではなく、領域専門家のロジックと専門知識を取り込むように AI エージェントを設計する方法について説明します。「組織の第二の脳」と呼ばれるこのシステムは、特殊なコンプライアンス領域向けに構築されたが、このアーキテクチャはセキュリティ、財務、エンジニアリング、調達などの分野に一般化されているとメタ氏は主張する。私たちは、特定のドメインの二次専門家として機能する AI エージェントを作成しました。これにより、組織内の誰もがアクセス、共有、活用できる深い専門知識に簡単にアクセスして保存できるようになります。 Meta 氏によると、そのアプローチは、「構造化され監査可能な知識アーキテクチャ」と「モデルのリサイクルを行わずに検証および回帰テストされた更新に専門家のフィードバックを収集する」自己改善ループを組み合わせることで、従来のドメイン固有のエージェントとは異なります。アーキテクチャは 4 つの層で構成されています。組織内のすべての知識を統合するための知識システム。エージェントが何を知っているかとどのように推論するかを分離する推論パイプライン。自動化されたベンチマークを提供する評価フレームワーク。そして前述の自己改善ループ。ナレッジシステムは、厳密な分類法に基づいて編成された 200 を超える構造化ファイルから抽出された専門知識を使用します。これらには以下が含まれます位置ファイル認可されたノウハウを取得する。分類および語彙ファイルエンティティの種類、活動カテゴリ、分類レベル、および組織内で使用されるその他の用語の用語集として機能します。ルーティングインデックス埋め込まれた類似性にのみ依存せずに、エントリを関連ファイルにマッピングします。 e ゲートウェイファイルエージェントがいつ専門知識を安全に適用できるかを判断するテストを定義します。推論層は「レシピ」を使用して、エージェントが問題を分析する方法を定義します。レシピはコンポーネントであり、エージェントが最初に何を調べる必要があるか、各ステップでどのような知識をロードするか、どのような決定手順に従うか、分析がいつ完了したかを判断する方法を指定します。レシピを使用すると、失敗の原因が知識の不足なのか、推論手順の誤りなのかを判断することもできます。 Meta のアプローチの重要な特徴は、分析に事前定義されたチェックポイントを使用することです。このチェックポイントでは人間による制御が必要で、あいまいなケースはドメインの専門家にエスカレーションされます。専門家が誤りを特定すると、知識不足、推論手順の欠陥、または専門家間の真の曖昧さが原因であっても、修正は永久に記録されます。これを実現するための重要なアイデア自己改善ステアリングホイール可能なのは、組織の知識をモデルの重み付けから除外し、明示的な推論手順を通じてアクセスされ、厳密にテストされるバージョン管理されたテキストファイルに保存することです。…