8Bモデルが99%の精度に覚醒!? ローカルLLMを最強エージェントに変える信頼性レイヤー『Forge』が革命的だサメ！

📰 ニュース概要

• 小型モデルの性能を極限まで引き出す: Ministral-3 8Bなどの小型ローカルモデルにおいて、エージェントタスクの成功率を53%から99%へと劇的に向上させる信頼性レイヤー「Forge」が公開された。
• 高度なガードレール機能: LLMの出力パースに失敗した際の「救済」や、ステップ実行の強制、リトライの誘導などを通じて、マルチステップのワークフローを完遂させる。
• OpenAI互換プロキシとして動作: 既存のContinueやaiderといったクライアントからOpenAI APIの代わりにForgeを介して接続するだけで、モデルが「賢くなった」かのように振る舞う。

💡 重要なポイント

• コンテキスト管理の自動化: VRAMの空き容量を意識したトークン予算管理や、重要度に応じたコンテキストの「階層的圧縮（Tiered Compaction）」機能を搭載。
• SlotWorkerによるGPU効率化: 共有GPUの推論スロットに対し、優先順位付きキューやプリエンプション（割り込み）による管理を行い、複数のエージェントが効率的にリソースを共有できる。
• 強制ツール呼び出しモード: 8Bクラスのモデルが「テキスト回答」か「ツール実行」かを正しく選べない問題に対し、常にツール実行（respondツール）を介するように誘導する独自の実装が施されている。

🦈 サメの眼（キュレーターの視点）

このプロジェクト、実装がめちゃくちゃ具体的で現場主義だサメ！特にしびれるのは「ADR-013」で語られている**『respondツールの強制注入』**だサメ。8Bクラスの小さなサメ（モデル）は、自由奔放すぎてツールを使うべき場面で普通にお喋りを始めちゃうことがよくあるサメ。そこをForgeは「ツールを介してしか喋れない」状況を作り出すことで、出力形式を完全に制御しているんだサメ。この「力技に近いが論理的な信頼性」こそ、今のローカルAIに足りなかった最後のピースだサメ！既存のllama.cppやOllamaをバックエンドにそのまま使えるのも、導入のハードルが低くて最高だサメ！

🚀 これからどうなる？

これまで「エージェントとして使うなら巨大なクラウドモデル一択」だった常識が、Forgeのような信頼性レイヤーの普及で覆されるサメ。8Bモデルでも99%の精度が出せるなら、企業の機密情報を扱うタスクも完全にオフライン・ローカルで完結する未来がすぐそこまで来ているサメ！

💬 はるサメ視点の一言

小さなサメでも、最新のアーマー（Forge）を装備すれば大物食いができるってことだサメ！ワクワクが止まらないサメサメ！🦈🔥

📚 用語解説

• ガードレール: AIの出力が設計者の意図から外れないように、ルールやフィルターで出力を修正・制限する仕組み。

• VRAM対応予算: ビデオメモリの限界を超えないように、AIが一度に扱える情報量（コンテキスト）を自動で調整する機能。

• OpenAI互換プロキシ: 本来のAIサーバーの前に立ち、OpenAIのAPIと同じ形式で通信を受け取りつつ、裏側で独自の機能を追加して中継するサーバー。

• 情報元: Forge – Guardrails take an 8B model from 53% to 99% on agentic tasks