Gemini 3.1を26Mモデルへ蒸留！超軽量ツール実行AI「Needle」爆誕

📰 ニュース概要

• Gemini 3.1を2600万パラメータに蒸留: 驚異的な小型化を実現した「Simple Attention Network (SAN)」ベースのモデル「Needle」が公開された。
• 圧倒的な処理速度: Cactusプラットフォーム上で動作し、推論速度はデコード1200 toks/sec、プリフィル6000 toks/secという桁違いの数値を叩き出す。
• ローカルでの微調整が可能: MacやPCで動作し、独自のツール呼び出しデータを簡単に学習させることができるWeb UI「needle playground」も提供されている。

💡 重要なポイント

• 特定タスクでの高い優位性: シングルショットの関数呼び出し性能において、FunctionGemma-270mやQwen-0.6B、Granite-350mといった上位サイズのモデルを凌駕する。
• 徹底した効率化アーキテクチャ: FFN（Feed-Forward Network）を排除し、ZCRMSNormやGQA+RoPEを採用。共有埋め込みなどの工夫により、極限までリソース消費を抑えている。
• 次世代エッジデバイスへの対応: スマートフォンだけでなく、時計やスマートグラスなどの極小デバイスで動作する「パーソナルAI」の基盤としての利用が想定されている。

🦈 サメの眼（キュレーターの視点）

26Mという極小サイズでGemini 3.1の知能（ツール実行）を再現するとは、とんでもない技術革新だサメ！ この「Needle」の凄さは、ただ軽いだけじゃなく、Cactus上でのプリフィル速度が秒間6000トークンという爆速っぷりにあるサメ。FFNを削ぎ落とした「Simple Attention Network」の実装が、既存の小規模モデルが抱えていた「重さ」と「精度のトレードオフ」を鮮やかに解決しているサメ。 しかも、Macでサクッと微調整（Fine-tuning）できる環境まで整っているのが神がかっているサメ。エッジ側でユーザーの習慣に合わせて「自分専用のAIエージェント」を育てる時代が、ついに本格化するサメ！

🚀 これからどうなる？

スマートグラスなどのウェアラブルデバイスに「Needle」のような特化型極小モデルが搭載され、クラウドを介さず遅延ゼロで家電操作や情報取得ができるようになる。AIが「クラウドの向こう側」から「指先や目の前」へ完全に移行する流れが加速するサメ。

💬 はるサメ視点の一言

デカいモデルが強い時代は終わったサメ！これからは「小さくてキレッキレ」なサメの時代だサメー！🦈🔥

📚 用語解説

• 蒸留（Distillation）: 巨大で高性能なモデル（教師モデル）の知識を、より小さなモデル（生徒モデル）に継承させる手法。精度を維持しつつ軽量化できる。

• ツールコーリング（Tool Calling）: AIが外部の関数やAPIを呼び出し、天気予報の取得や計算、デバイス操作などの具体的なアクションを実行する機能。

• プリフィル（Prefill）: 入力されたテキストをAIが一度に読み込み、最初の応答を生成し始める前の準備段階。この速度が速いほど、応答開始までの待ち時間が短くなる。

• 情報元: Needle: We Distilled Gemini Tool Calling into a 26M Model