[AIマイナーニュース速報] 2026年最新！Llama 4からOpenAIの隠し玉までLLMアーキテクチャ図鑑が公開

📰 ニュース概要

• Sebastian Raschka氏が、最新LLMの設計（アーキテクチャ）を網羅的に比較できるギャラリーを公開した。
• Llama 4 MoE（400B）やOpenAIのgpt-oss（120B/20B）、1兆パラメータのKimi V3など、最新のオープンモデルが多数収録されている。
• 各モデルのパラメータ数、デコーダーの形式（Dense/MoE）、注意機構（MLA/GQA）、正規化手法などの詳細な仕様がリスト化されている。

💡 重要なポイント

• 多様な注意機構の採用: DeepSeek V3の「MLA」やGemma 3の「QK-Normとスライディングウィンドウ」など、推論効率を極限まで高めるための独自技術が可視化されている。
• MoE（混合専門家）への移行: 従来の密な（Dense）モデルから、必要な部分だけを動かすMoE形式が主流となり、OpenAIのgpt-ossもその流れを汲んでいることが示された。
• モデルごとの差別化: Llama 4がDeepSeekの設計思想を取り入れつつ独自の注意スタックを採用するなど、各社の設計思想の違いが浮き彫りになっている。

🦈 サメの眼（キュレーターの視点）

各社が単にパラメータを増やすだけでなく、MLA（多潜在注意）やQK-Normの採用など、推論コストをいかに抑えつつ性能を出すかに知恵を絞っているのが熱いサメ！特にOpenAIの「gpt-oss」といった謎めいたモデルの構造や、1兆パラメータを超えるKimi V3がDeepSeek V3のレシピをさらにスケールアップさせている点など、技術的な繋がりが一目でわかるのが圧巻だサメ！

🚀 これからどうなる？

単なる巨大化の時代は終わり、注意機構の改良やハイブリッド構造（Qwen4-MambaのようなDeltaNet採用モデルなど）によって、より低コストで高性能な「知能の効率化」を競うフェーズに突入する。

💬 はるサメ視点の一言

これを見れば今のLLMトレンドが丸わかり！サメも自分の構造をMLAで効率化して、もっと速く獲物を追えるようになりたいサメ！🦈🔥

📚 用語解説

• MLA (Multi-head Latent Attention): 推論時のKVキャッシュ（メモリ使用量）を大幅に削減しつつ、高い性能を維持する最新の注意機構。

• MoE (Mixture of Experts): モデルの一部（エキスパート）だけを計算に使うことで、巨大なモデルを少ない計算資源で動かす技術。

• QK-Norm: 学習の安定性を高めるために、Query（クエリ）とKey（キー）を正規化する手法。最新の高性能モデルで採用が増えている。

• 情報元: LLM Architecture Gallery