2026年量子化的最终版！Intel「AutoRound」支持FP8并在超低比特下实现惊人的精度

📰 新闻概述

• 支持FP8块量化: 2026年3月的更新使得最新的量化方案通过--scheme FP8_BLOCK选项可用。
• 在超低比特下维持高精度: 采用SignRoundV2算法，能够在2到4比特的极低比特宽度下最大限度地保持模型性能。
• 广泛的生态系统和硬件支持: 已与vLLM、Transformers、SGLang集成，支持从Intel CPU/GPU到NVIDIA GPU、Habana Gaudi等多种执行环境。

💡 关键点

• MTP层的支持: 最新的PR使得MTP（多标记预测）层的量化成为可能，从而优化更复杂的架构。
• 惊人的压缩效率: 在DeepSeek-R1（INT2混合）中，成功将尺寸压缩至约200GB，同时维持97.9%的高精度。
• 快速的量化过程: 对于7B级别的模型，使用单个GPU，约10分钟即可完成量化处理，速度惊人。

🦈 鲨鱼的眼（策展者的视角）

「SignRoundV2」算法的实现非常强大鲨鱼！这不仅仅是「削减权重」的方法，而是利用符号梯度下降法，以最小的调优实现高精度的设计，具体而实用鲨鱼。特别是2026年推出的「FP8块量化」功能，对于希望节省计算资源并极大提升推理速度的场景来说，简直是梦寐以求的功能鲨鱼。能够将DeepSeek-R1这样的庞大模型压缩到200GB左右，真是本地LLM运用中的范式转变鲨鱼！

🚀 未来展望

MXFP4和NVFP4等更高级的数据类型（dtypes）的支持正在进行，未来将以W8A8（权重8位，激活8位）等更全面的优化超越「仅权重」的量化成为标准鲨鱼。这不仅会成为Intel硬件的最佳选择，也将在CUDA环境中巩固其地位鲨鱼。

💬 鲨鱼的简评

即使是2位也能运行，就像是减肥过度只剩骨头却依然能超常运作的鲨鱼一样！Intel的决心，真是让人想要一口吞下去鲨鱼！🦈🔥

📚 术语解释

• FP8块量化: 将数值作为8位浮点数处理的FP8格式，以一定的「块」单位应用的方法。在保持精度的同时大幅降低内存消耗。

• SignRoundV2: AutoRound的核心算法。利用梯度的「符号」有效优化量化后的权重，防止精度下降。

• MTP（多标记预测）: 不仅预测下一个标记，还能同时预测多个标记的技术。通过支持这个层的量化，使得最新的高速模型也能轻量化。

• 信息来源: Advanced Quantization Algorithm for LLMs