X（推特）精选：18 条帖子覆盖从零实现、硬件视角和算子编译三条主线¶
先看第一组建立“一个模型从头到尾怎么跑”的整体认识，再看第二组补硬件建模方法，最后按需看第三组深入算子和编译器。
所有链接都经 twitterapi.io 接口核实（2026-11-01），日期按新加坡时间。
1. 从零实现与训练全流程：先看 Karpathy 和 Raschka¶
| # | 帖子 | 作者 / 日期 | 内容 | 对 SoC 架构师的价值 |
|---|---|---|---|---|
| 1 | https://x.com/karpathy/status/1615398117683388417 | @karpathy 2023-01-18 | 约 2 小时的视频课《Let's build GPT》，按论文从零写出 Transformer | 入门首选，看懂一个模型由哪些算子组成 |
| 2 | https://x.com/karpathy/status/1977755427569111362 | @karpathy 2025-10-13 | 发布 nanochat：从零写的全流程（预训练、SFT、RL、推理、网页聊天） | 一份代码贯穿各阶段，可对照训练和推理的负载差异 |
| 3 | https://x.com/karpathy/status/2017703360393318587 | @karpathy 2026-02-01 | 8 卡 H100 训 3 小时、约 73 美元得到 GPT-2 水平模型；2019 年原版要 32 片 TPU v3 训 7 天 | 直观看到 7 年间硬件和算法的进步幅度 |
| 4 | https://x.com/karpathy/status/1777427944971083809 | @karpathy 2024-04-09 | llm.c：纯 C/CUDA 训练 GPT-2，不依赖 PyTorch | 不经框架，直接看清每个算子和显存的使用 |
| 5 | https://x.com/rasbt/status/1790013057659183601 | @rasbt 2024-05-13 | 11 步 LLM 学习计划，配合《LLMs from Scratch》 | 可照着做的系统化入门路线 |
| 6 | https://x.com/rasbt/status/2114325097653669940 | @rasbt 2026-10-25 | 《Reasoning from Scratch》全套视频上线，覆盖 KV Cache、RLVR、GRPO | 补上推理模型和强化学习 |
| 7 | https://x.com/Thom_Wolf/status/1984033830924124262 | @Thom_Wolf 2025-10-30 | Hugging Face 200 多页实践书，讲预训练、后训练配方和超参搜索 | 了解真实训练项目怎么做 |
2. 硬件视角与扩展：建立 roofline 直觉和并行切分的概念¶
| # | 帖子 | 作者 / 日期 | 内容 | 对 SoC 架构师的价值 |
|---|---|---|---|---|
| 8 | https://x.com/cHHillee/status/1503803011843252224 | @cHHillee 2022-03-16 | 《Making Deep Learning Go Brrrr》：把耗时拆成计算、带宽、额外开销三类 | 最贴近架构师思维的 roofline 入门文章 |
| 9 | https://x.com/jacobaustin132/status/1886844716446007300 | @jacobaustin132 2025-02-05 | Google《How To Scale Your Model》：TPU、roofline 和并行切分 | 从 TPU 设计视角讲解，可直接对照 NPU 设计 |
| 10 | https://x.com/Thom_Wolf/status/1892273133547078036 | @Thom_Wolf 2025-02-20 | 《Ultra-Scale Playbook》：从 1 张卡扩展到上千张卡 | 讲清各种并行和通信开销，用于评估互连设计 |
| 11 | https://x.com/SemiAnalysis_/status/1994399887719645532 | @SemiAnalysis_ 2025-11-28 | 长文分析 TPUv7 及其对 CUDA 生态的冲击 | 了解产业与架构层面的竞争格局 |
| 12 | https://x.com/SemiAnalysis_/status/2110560412907262343 | @SemiAnalysis_ 2026-10-15 | 基准测试中 TPUv7 跑 FP8 vLLM 的每美元性能是 GB300 跑 FP4 的 1.67 倍 | 最新推理性价比数据，可作对标 |
3. 算子与编译：用 FlashAttention 和 Puzzles 理解“IO 才是瓶颈”¶
| # | 帖子 | 作者 / 日期 | 内容 | 对 SoC 架构师的价值 |
|---|---|---|---|---|
| 13 | https://x.com/tri_dao/status/1531437619791290369 | @tri_dao 2022-05-31 | FlashAttention 发布：减少显存读写，提速 2～4 倍 | 典型案例：注意力的瓶颈在 IO 而非算力 |
| 14 | https://x.com/tri_dao/status/1811453622070444071 | @tri_dao 2024-07-12 | FlashAttention-3 利用 Hopper 新特性，最高 740 TFLOPS | 算子如何用上硬件的异步搬运和低精度 |
| 15 | https://x.com/srush_nlp/status/1546868822552059904 | @srush_nlp 2022-07-12 | GPU-Puzzles：14 道 Python 题学 CUDA | 动手理解 GPU 编程模型 |
| 16 | https://x.com/srush_nlp/status/1770119080097325458 | @srush_nlp 2024-03-20 | Triton-Puzzles：一路做到 FlashAttention 和 GPT-Q | Triton 入门 |
| 17 | https://x.com/cHHillee/status/1876742126845022259 | @cHHillee 2025-01-08 | Jane Street 演讲：编译器优化本身不能当作编程模型 | 理解 torch.compile 和 ML 编译器的边界 |
| 18 | https://x.com/DavidRBellamy/status/2110839750060065216 | @DavidRBellamy 2026-10-15 | 精简学习清单：训练看 Ultra-Scale Playbook，推理看 Baseten inference engineering，算法看 RLHF 书，算子看 PMPP | 一页纸的补充书单 |
4. 值得持续关注的作者¶
- @karpathy、@rasbt：从零实现类教程的主要作者。
- @cHHillee（Horace He）、@tri_dao：编译器与注意力算子。
- @marksaroufim：GPU MODE 社区发起人，组织算子竞赛。
- @SemiAnalysis_：芯片与数据中心产业分析。
未核实：@dylan522p、@main_horse 未检索；@zhyncs42 检索为空。