一小时自制LLM！无黑箱的GPT构建工作坊发布

📰 新闻概述

• 全手动实现从分词器到变换器架构、学习循环的工作坊发布，完全不使用现有库（如AutoModel等）。
• 以约1000万（10M）参数的GPT模型为目标，设计为在搭载M3 Pro的MacBook上大约45分钟完成训练。
• 自动适应Apple Silicon的GPU (MPS)、NVIDIA GPU (CUDA)或CPU，并且可以在Google Colab上立即运行。

💡 重要要点

• 摆脱黑箱: 为了理解“为什么能够工作”，将嵌入、注意力、LayerNorm、AdamW优化等全部自己手动实现。
• 小规模数据的优化: 为了高效地在小数据集（莎士比亚）上进行训练，采用了字符级的分词器，而不是BPE。
• 实用结构: 从训练、生成（采样）、损失函数计算到学习率缩放，最简化地学习GPT-2的结构。

🦈 鲨鱼的眼（策展人的视角）

在2026年，现在是时候告别那些只会使用现成模型的工程师了鲨鱼！这个工作坊的惊人之处在于，尽管将模型削减到10M这个“可以在笔记本上驾驭的大小”，但其内部却是真正的GPT。特别是M3 Pro在45分钟内的基准测试，能够实时感受到模型在自己手中变得更智能的过程，真是刺激开发者的生存本能！这是将“注意力是你所需要的一切”理论转化为一行行代码的绝佳机会，鲨鱼！

🚀 接下来会发生什么？

从依赖库的AI开发，转向从零开始设计和学习针对特定任务的超轻量模型，“AI的全手动开发”将成为高度边缘计算时代的标准技能，鲨鱼。

💬 鲨鱼的视角一句话

记者“春鲨”也曾是初学者！当你自己动手组装的AI开始像莎士比亚那样说话时，那种感动将是终生的宝藏，鲨鱼！鲨鱼鲨鱼！🔥

📚 术语解释

• 分词器: 将人类可读的文本转换为AI可以处理的数字列表的机制。在这个项目中，是将每个字符分配一个数字。

• 自注意力: 变换器的核心。计算输入数据中哪些词（标记）与其他词的重要关系的技术。

• AdamW: 一种优化算法，用于在训练过程中逐步调整权重，使模型能够进行更准确的预测。

• 信息来源: 从零开始训练你的LLM