大家好，我是写代码的中年人！今天我们结合代码从零实现一个简化版 GPT 模型。
近年来，大语言模型席卷了人工智能领域，从 ChatGPT 到 LLaMA，它们以惊人的语言理解和生成能力改变了我们与机器交互的方式。
其中，GPT系列模型因其强大的生成能力和灵活性，成为了研究和应用的焦点。本文将带你从零开始，揭开 GPT 模型的“魔法”面纱，通过理论讲解和代码示例，逐步实现一个简化版的GPT 模型。
01、从零实现简化版 GPT 模型的意义
近几年，大模型火遍全球，成为推动人工智能发展的核心力量。我们每天都在使用这些模型，却常常会好奇：
GPT 模型到底是怎么“理解”语言的？
分词、注意力、Transformer 这些名词具体意味着什么？
如果不用现成的 HuggingFace Transformers 库，能否自己实现一个“微缩版 GPT”？
答案是：可以！
本文的目标是带你揭开 GPT 的魔法，从数据处理到模型搭建，再到训练与文本生成，完整走一遍。虽然我们的模型规模远远比不上真正的 GPT-2，但核心思想是一致的。只要你掌握了这里的思路，就能理解大模型的“秘密”。
02、GPT 模型的核心组件与结构
在动手实现 GPT 模型之前，我们先快速了解其核心结构，其所有核心结构我们在前面已经讲过：
分词器（Tokenizer）：
GPT 将文本切分为子词单元（subword），以平衡词表大小和语义表达能力。常用算法为 BPE（Byte Pair Encoding），如 GPT-2 和 GPT-3 使用的基于 BPE 的分词器。本次我们使用SentencePiece。
嵌入层（Embedding）：
将离散的 token id 转换为连续的向量表示。加入可学习的位置编码（Learned Positional Encoding），以捕捉 token 在序列中的位置信息。
多头自注意力（Multi-Head Self Attention）：
GPT 的核心机制，通过计算 Query、Key、Value 捕捉 token 之间的依赖关系。使用 masked self-attention，确保预测下一个 token 时只关注之前的上下文。
前馈层（Feed Forward Network）：
注意力层后的非线性变换，增强模型的表达能力。通常由两层全连接网络组成，中间加入激活函数（如 ReLU 或 GELU）。
Transformer Block：
由多头自注意力层、前馈层、残差连接和 LayerNorm 组成。残差连接缓解梯度消失问题，LayerNorm 稳定训练过程。通过堆叠多个 Transformer Block 构建深层网络结构。
输出层：
将隐状态通过线性变换和 softmax 函数映射到词表大小的概率分布，预测下一个 token。常结合 top-k 或 top-p 采样策略处理大规模词表。
训练目标：
GPT 采用自回归语言建模，目标是预测下一个 token。使用交叉熵损失函数，优化器通常为 Adam 或其变种。
03、代码实现及训练过程
数据准备
我们本次使用完整的《水浒传》数据，一个章节一行，保存为: raw_shuihu.txt。如下图：
清洗数据
清洗《水浒传》原始文本，生成适合训练的纯净语料，自动按中文标点（。！？）切分成句子，每句一行，保存为：shuihu.txt。(此处只做最容易的切割)
复制复制训练分词器
此处使用SentencePiece分词方法，SentencePiece 是一种开源的子词分词工具，由 Google 研发。它的主要特点是语言无关和可逆性，能将任何语言的文本序列无损地转换成子词序列。
复制复制训练简化版 GPT 模型(使用绝对位置编码)
此处我们使用绝对位置编码进行训练，模型参数为8M，在RTX4090 上进行训练，平均占用显存1G内，训练时间：45分钟左右。
复制复制训练简化版 GPT 模型(使用旋转位置编码RoPE)
此处我们使用旋转位置编码进行训练，模型参数为8M，在RTX4090 上进行训练，平均占用显存1G内，训练时间：45分钟左右。
复制复制使用训练的模型进行推理(绝对位置编码)
我们使用训练好的模型gpt_shuihu.pth进行推理测试。
复制复制使用训练的模型进行推理(旋转位置编码RoPE)
我们使用训练好的模型gpt_shuihu_RoPE.pth进行推理测试。
复制复制代码已放在GitHub：
https://github.com/ColinAIAPP/MoiraiLM
结束语
经过训练后，我们对这个小型类 GPT 模型进行了推理测试。结果显示，模型往往会输出一些“胡言乱语”式的文本(预测下一个token)，看起来并没有连贯的语义。这种现象背后有几个主要原因：
模型规模过小
我们的实验模型只有很小的参数，而真实的模型起步就是上亿参数，ChatGPT、GPT-4 更是数千亿参数量级。过小的模型容量限制了它对语言规律的表达能力。
训练数据有限
我们仅使用了《水浒传》这一部作品作为训练语料，而现代大模型的训练数据规模往往是万亿级别 token，涵盖多领域、多语言。数据多样性不足，使得模型无法学到更广泛的语言知识。
训练时间不足
在有限硬件和时间下，我们只进行了少量 epoch 的训练。这种“浅尝辄止”的训练无法让模型充分收敛，也难以形成较强的生成能力。
因此，这个实验模型只能算是 原理性验证 ——它向我们展示了 GPT 模型“预测下一个词”的核心工作方式，却无法产生高质量的文本。本次实验主要是 测试预训练，验证模型框架和训练流程的可行性。
在下一步，我们计划在 更大的数据集 上进行训练，并尝试增加模型的深度和宽度，提升参数规模。同时，将引入 监督微调（Supervised Fine-Tuning） 和 RLHF（Reinforcement Learning with Human Feedback） 等训练策略，以进一步提升模型在生成文本时的质量、连贯性和实用性。在这些改进下，模型的表现将更加接近我们熟悉的大语言模型，实现更高水平的文本生成能力。
