MoE 大模型低成本部署框架
MoE 大模型低成本部署框架
Strata：在 2×RTX 4090D 上做 1M 上下文推理服务的系统全书
2×RTX 4090D 24G、单端口 8080，把一个 125B MoE 模型做成能对外服务的推理系统。一本架构加源码走读的全书：请求链路、引擎内核与量化、测试台数字、六次事故复盘，以及 10-21 的引擎改造手册。
开始阅读
未开始
一句话定位
在平台分配的一个固定 GPU 容器上（2× RTX 4090D 24G、cgroup 32 核、216 GiB 内存、只有一个公网端口 8080），
为一个小组织提供对外、多用户并行、支持 1M 级长上下文的大模型推理服务。
资源是固定的，服务质量靠工程挣出来。
这本书回答三个问题
- 一个请求进来之后，到底经过了什么？
- 为什么系统长成这个样子，而不是那个看起来更简单的样子？
- 我们说它「能用」，凭什么？哪些数字是真的，哪些数字已经过期？
没做到的部分和做到的部分，用同样的篇幅写。
三条写作约定
- 每个数字带出处：测于什么时候、什么配置、数字多少，找不到出处的不写。
- 口径冲突要写出来，不静默选一个。
- 密钥不进书：涉及处只写「配置里含明文 key，应改用凭据管理」。
怎么读
| 你是谁 | 建议顺序 |
|---|---|
| 刚来，要先能干活 | 01 → 02 → 03 → 15 → 17 → 附录 A |
| 要改引擎代码 | 03 → 06 → 07 → 08 → 09 → 10 → 20 → 21 → 11 → 12 → 附录 A/B |
| 只想看「慢在哪、先动哪一行」 | 20 → 21 → 19.8 |
| 要判断这套系统可信不可信 | 01 → 13 → 14 → 18 → 19 |
边界：它不教 Transformer / MoE / 量化的基础数学，也不是 API 手册；它写的「现状」有明确的时间戳，
引用本书行号前请先按附录 A.6 核实 —— 本书的行号也会腐烂。