[AI小新闻速递] 2026年最新！从Llama 4到OpenAI的秘密武器，LLM架构图鉴已发布

📰 新闻概览

• Sebastian Raschka发布了一份能够全面比较最新LLM设计（架构）的画廊。
• 包含了Llama 4 MoE（400B）、OpenAI的gpt-oss（120B/20B）、以及1万亿参数的Kimi V3等众多最新开放模型。
• 各模型的参数数量、解码器形式（Dense/MoE）、注意机制（MLA/GQA）、正则化方法等详细规格一一列出。

💡 重要要点

• 多样化的注意机制: DeepSeek V3的“MLA”和Gemma 3的“QK-Norm与滑动窗口”等独特技术被可视化，以极大提高推理效率。
• 向MoE（混合专家）的转变: 从传统的密集（Dense）模型转向只激活必要部分的MoE形式，OpenAI的gpt-oss也展现了这一趋势。
• 模型间的差异化: Llama 4在借鉴DeepSeek设计理念的同时，采用了独特的注意堆栈，各公司的设计哲学差异愈加明显。

🦈 鲨鱼观察（策展人视角）

各家公司不仅仅是在增加参数，而是通过采用MLA（多潜在注意）和QK-Norm等技术，努力在降低推理成本的同时提高性能，这真是令人振奋！特别是OpenAI的“gpt-oss”等神秘模型的结构，以及超过1万亿参数的Kimi V3如何将DeepSeek V3的配方进一步扩大，这些技术关联一目了然，令人叹为观止！

🚀 未来展望

简单的模型规模化时代已经结束，改进注意机制和混合结构（如Qwen4-Mamba的DeltaNet采用模型）将引领我们进入一个在更低成本下追求高性能的“智能效率化”阶段。

💬 鲨鱼的简评

看到这些内容，你就能了解当前的LLM趋势！鲨鱼也想通过MLA优化自己的结构，变得更快，追捕猎物更有效率！🦈🔥

📚 术语解释

• MLA (多头潜在注意): 在推理过程中大幅减少KV缓存（内存使用量），同时保持高性能的最新注意机制。

• MoE (混合专家): 仅使用模型部分（专家）进行计算，以便用更少的计算资源运行庞大模型的技术。

• QK-Norm: 提高学习稳定性的一种方法，通过对Query（查询）和Key（键）进行正则化。最新的高性能模型中越来越多地采用该方法。

• 信息来源: LLM Architecture Gallery