从零构建大语言模型
从零构建大语言模型
Build a Large Language Model (From Scratch) 中文精读笔记
逐章精读《Build a Large Language Model (From Scratch)》，从 Transformer 基础、文本处理、注意力机制，一路走到预训练、微调与 LoRA。
开始阅读
未开始
这本书是什么
这是《Build a Large Language Model (From Scratch)》的中文精读笔记。全书从 Transformer 的基本概念讲起，带你把一个 GPT 风格的模型从零写出来：处理文本、实现多头注意力、搭 GPT 结构、做预训练，最后完成分类微调和指令微调。
适合谁读
- 想搞懂大模型内部结构，而不只是会调 API 的人
- 有 Python 基础、想系统学习 PyTorch 与 Transformer 的人
- 正在准备大模型相关面试，需要把细节讲清楚的人
怎么读
建议按章节顺序读，代码跟着敲一遍。每章末尾的「本章摘要」可以用来快速复习；附录里的 PyTorch 简介和 LoRA 微调可以按需查阅。