LLM 究竟是如何工作的？
本文系统解析大型语言模型（LLM）的工作原理，聚焦于transformer架构的核心机制。文本首先通过tokenization转换为整数序列，采用子词分词平衡效率与泛化能力。嵌入层将token ID映射为向量，通过训练学习语义关系，如“king”与“queen”的向量接近。位置编码（如Rotary Position Embeddings，RoPE）通过旋转Query和Key向量注入序列顺序信息，解决词序依赖并提升长上下文泛化。attention机制是关键，每个token生成Query、Key、Value向量，通过缩放点积计算相似度，softmax加权聚合信息，并利用因果掩码确保生成顺序。多头注意力并行运行多个attention头，学习语法、语义等多种关系模式，Grouped-Query Attention（GQA）优化内存使用。前馈网络独立处理每个token，通过扩展、非线性变换（如SwiGLU）和压缩存储事实知识，Mixture of Experts（MoE）扩展参数规模而不倍增计算成本。残差连接和层归一化促进梯度流动，使深层堆叠可训练。文章还提及KV缓存等优化，避免复杂数学，提供入门指南，帮助读者理解LLM内部组件及其训练与推理差异。