Top AI Repos — open-source AI, indexed and scored
Top AI Repos tracks AI repositories on GitHub and answers two different questions about each one: is it moving right now, and would you bet a product on it.
Top AI Repos tracks AI repositories on GitHub and answers two different questions about each one: is it moving right now, and would you bet a product on it.
从无名小卒到大模型（LLM）大英雄~ 欢迎关注后续！！！
| Date | Stars |
|---|---|
| 2026-07-31 | 2267 |
| 2026-08-05 | 2270 |
| 2026-08-06 | 2270 |
Today
— stars today
This week
— stars this week
This month
— stars this month
Momentum
0.0
growth rate 0.00%/day
<p align="center">
<h1 align="center">《LLMs-Zero-to-Hero》</h1>
<h4 align="right">从大模型无名小卒到LLM大师</h4>
</p>
<p align="center">
<a href="https://apecode.ai/zh"><img src="https://img.shields.io/badge/🦧_ApeCode.ai-AI_Tools_&_Learning-orange?style=flat-square" alt="ApeCode.ai"/></a>
<a href="https://apecode.ai/zh/products/aperouter"><img src="https://img.shields.io/badge/🔗_ApeRouter-LLM_API_Proxy-blue?style=flat-square" alt="ApeRouter"/></a>
<a href="https://yuanchaofa.com"><img src="https://img.shields.io/badge/📝_Blog-yuanchaofa.com-pink?style=flat-square" alt="Blog"/></a>
<a href="https://space.bilibili.com/12420432"><img src="https://img.shields.io/badge/🎬_Bilibili-chaofa-ff69b4?style=flat-square" alt="Bilibili"/></a>
</p>
开个新坑，从无名小卒到大模型（LLM）大英雄~ 欢迎关注[B站后续更新](https://space.bilibili.com/12420432)！！！
目前(2025-10-19)已经**开始在写自己的书籍**了，欢迎大家跟踪[公众号--chaofa用代码打点酱油](https://bruceyuan.com/llms-zero-to-hero/chaofa-wechat-official-account.png)追踪更新～
当然也可以在 个人 [blog——yuanchaofa.com](https://yuanchaofa.com) 获取到全部内容
## 特点
- 完全从零手写，边写边讲知识点，致敬 Andrej Karpathy
- 体系化，具有完整的实践路线
- 配套视频讲解，[B站视频](https://www.bilibili.com/video/BV1qWwke5E3K)
- 配套镜像 GPU，用于模型的训练，有演示和展示 Demo
- 最小使用 3090，4090 即可训练~
- 完全从零训练的 miniLLM 可以参考个人仓库 [BitBrain——比特大脑](https://github.com/bbruceyuan/bit-brain) 获取可以体验的 demo，欢迎体验学习～
> 大家可以用我的 [Featurize 注册链接](https://featurize.cn/srx/gthYt2)获得额外的 GPU 优惠券，仅 9.9 元可使用满血 RTX 4090 24 小时。
> [!TIP]
> 🦧 跑代码需要 LLM API？试试我做的 [ApeRouter](https://apecode.ai/zh/products/aperouter) — 国内直连的 LLM API 路由，支持 Claude / GPT / Kimi 等模型，无需翻墙。更多 AI 学习资源和开发工具：[ApeCode.ai](https://apecode.ai/zh)
## 目录
- 大模型基础，介绍大模型训练的流程
- [Dense Model](https://github.com/bbruceyuan/LLMs-Zero-to-Hero/blob/master/src/video/build_gpt.ipynb) （[B站视频](https://www.bilibili.com/video/BV1qWwke5E3K)）
- [MOE Model](https://github.com/bbruceyuan/LLMs-Zero-to-Hero/blob/master/src/video/build_moe_model.ipynb)，（[B站视频](https://www.bilibili.com/video/BV1ZbFpeHEYr/)）
- ...
- 完全从零到一训练 LLM (Pre-Training)
- 完全从零到一微调 LLM (Supervised Fine-Tuning, SFT)
- 完全从零到一微调 LLM (Direct Preference Optimization, DPO)
- 完全从零到一微调 LLM (Reinforcement Learning from Human Feedback, RLHF)
- 用于写 Python 代码的 Code-LLM
- 大模型的部署
- 推理优化，量化等
- ...
> 如果本套教程对你有难度，可以看看 [Hands-On Large Language Models CN(ZH) -- 动手学大模型](https://github.com/bbruceyuan/Hands-On-Large-Language-Models-CN)，先使用 `transformers` 入门，然后再来手把手自己实现大模型。
## 已更新内容目录
| 章节 | 文章解读 | 中文 Notebook<br/>复制后可直接运行| 视频讲解 <br/> (可点击)|
|---|---|------|------|
| 完全从零手写一个nanoGPT | todo | [](https://github.com/bbruceyuan/LLMs-Zero-to-Hero/blob/master/src/video/build_gpt.ipynb) | [](https://www.bilibili.com/video/BV1qWwke5E3K/)<br />[](https://www.youtube.com/watch?v=2g5-aHYWiio) |
| LLM MOE 的进化之路 | [LLM MOE的进化之路，从普通简化 MOE，到 sparse_moe，再到 deepseek 使用的 share_expert_sparse_moe](https://bruceyuan.com/llms-zero-to-hero/the-way-of-moe-model-evolution.html) | [](https://github.com/bbruceyuan/LLMs-Zero-to-Hero/blob/master/src/video/build_moe_model.ipynb) | [](https://www.bilibili.com/video/BV1ZbFpeHEYr/)<br /> [](https://www.youtube.com/watch?v=0BodppoiloM) |
| DeepSeek-MLA 算法-无矩阵吸收 | [Part1: 从代码角度学习和彻底理解 DeepSeek MLA 算法](https://bruceyuan.com/post/hands-on-deepseek-mla.html)</br></br> [自顶向下方式深度解读 DeepSeek-R1，内含大量细节](https://bruceyuan.com/post/deepseek-r1-paper-reading-notes.html) |[
Chaofa Yuan｜袁朝发 · ByteDance · China
22
2
Chenglu · Featurize
1
1
1
Would you bet a product on this? Bounded 0–100 and slow moving.
matched fp:b81f70b67d451188, topic:llm