Top AI Repos — open-source AI, indexed and scored
Top AI Repos tracks AI repositories on GitHub and answers two different questions about each one: is it moving right now, and would you bet a product on it.
Top AI Repos tracks AI repositories on GitHub and answers two different questions about each one: is it moving right now, and would you bet a product on it.
LLM algorithm practice lab with theory, solutions, and test cases.《大模型算法与系统教程》面向大模型入门到进阶的算法实战教程，覆盖原理讲解、答案解析、测试用例与 CUDA/Triton 实战。
| Date | Stars |
|---|---|
| 2026-08-03 | 399 |
| 2026-08-12 | 425 |
| 2026-08-18 | 479 |
| 2026-08-19 | 487 |
| 2026-08-20 | 492 |
| 2026-08-21 | 496 |
| 2026-08-22 | 500 |
| 2026-08-23 | 504 |
| 2026-08-24 | 511 |
| 2026-08-25 | 513 |
| 2026-08-26 | 520 |
| 2026-08-27 | 524 |
| 2026-08-29 | 525 |
| 2026-08-30 | 527 |
| 2026-08-31 | 529 |
| 2026-09-01 | 530 |
| 2026-09-02 | 534 |
| 2026-09-03 | 534 |
| 2026-09-04 | 535 |
| 2026-09-05 | 540 |
| 2026-09-07 | 541 |
| 2026-09-08 | 542 |
| 2026-09-09 | 544 |
| 2026-09-10 | 556 |
| 2026-09-11 | 562 |
| 2026-09-12 | 568 |
| 2026-09-13 | 580 |
| 2026-09-14 | 586 |
| 2026-09-15 | 590 |
| 2026-09-16 | 594 |
| 2026-09-17 | 600 |
| 2026-09-18 | 601 |
| 2026-09-19 | 604 |
| 2026-09-20 | 606 |
| 2026-09-21 | 607 |
| 2026-09-22 | 609 |
| 2026-09-23 | 613 |
| 2026-09-24 | 614 |
| 2026-09-25 | 615 |
| 2026-09-27 | 617 |
| 2026-09-28 | 618 |
| 2026-09-29 | 620 |
| 2026-09-30 | 621 |
| 2026-10-01 | 622 |
| 2026-10-02 | 622 |
| 2026-10-03 | 623 |
| 2026-10-04 | 623 |
| 2026-10-05 | 625 |
| 2026-10-06 | 627 |
| 2026-10-07 | 631 |
| 2026-10-08 | 653 |
| 2026-10-09 | 662 |
| 2026-10-10 | 665 |
| 2026-10-11 | 671 |
| 2026-10-12 | 677 |
| 2026-10-13 | 682 |
| 2026-10-14 | 686 |
| 2026-10-15 | 688 |
| 2026-10-16 | 692 |
| 2026-10-17 | 695 |
| 2026-10-18 | 697 |
| 2026-10-19 | 698 |
| 2026-10-20 | 704 |
| 2026-10-21 | 705 |
| 2026-10-22 | 710 |
| 2026-10-23 | 713 |
| 2026-10-25 | 715 |
| 2026-10-26 | 723 |
| 2026-10-27 | 729 |
| 2026-10-29 | 731 |
| 2026-10-30 | 733 |
| 2026-10-31 | 733 |
| 2026-11-02 | 735 |
| 2026-11-03 | 734 |
| 2026-11-04 | 737 |
Today
+3 stars today
This week
+8 stars this week
This month
+112 stars this month
Momentum
20.0
growth rate 1.10%/day
<h1 align="center">llm-algo-leetcode | 大模型算法与系统教程</h1> <p align="center"> Runnable notebooks for LLM algorithms and systems.<br> 面向大模型算法与系统的可运行 Notebook 教程。 </p> <p align="center"> <strong>主学习路线 / Core Routes</strong><br> <a href="./topic_discussion/llm_architecture_evolution/intro.md">大模型架构演进 / Architecture</a> · <a href="./topic_discussion/post_training_optimization/intro.md">后训练优化 / Post-Training</a> · <a href="./topic_discussion/inference_optimization/intro.md">推理优化 / Inference</a> · <a href="./topic_discussion/performance_optimization/intro.md">性能优化 / Performance</a> · <a href="./topic_discussion/operator_optimization/intro.md">算子优化 / Operator</a> </p> <p align="center"> <strong>专题导航 / Topic Navigation</strong><br> <a href="./topic_discussion/intro.md#基础与诊断入口">基础与诊断 / Foundations</a> · <a href="./topic_discussion/intro.md#横向工程专题">横向工程 / Cross-Cutting</a> · <a href="./topic_discussion/intro.md#领域专题">领域专题 / Domains</a> · <a href="./topic_discussion/intro.md">全部专题 / All Topics</a> </p> [中文版 (Chinese)](#中文版) | [English Version](#english-version) --- # 中文版 ## 🎯 项目简介 这是一个以 Notebook 为载体的大模型算法与系统教程。教程从 Part 02 的 PyTorch 算法实践出发，按需回补 Part 00 / Part 01 的基础，并进一步延伸到 Part 03 的 Triton 算子开发和 Part 04 的 CUDA 与系统优化。 内容围绕可运行实现、实验验证和专题化学习路线组织，帮助学习者逐步理解模型如何计算、如何训练、如何推理，以及性能问题如何被测量和优化。 ### ✨ 项目特点 1. **Notebook-first**：每节围绕可运行代码、题目区、答案区和基础验证展开，适合边学边改。 2. **按目标进入**：既支持从 Part 02 开始建立算法实践，也支持按五条主学习路线或基础、横向、领域专题跳读。 3. **算法到系统贯通**：沿着 `PyTorch → Triton → CUDA` 逐步下探，连接模型实现、算子优化、显存管理、通信与系统性能。 4. **用证据做项目判断**：通过 benchmark、profiling、真实 GPU 和 inference backend 实验，对吞吐、延迟、显存、质量和成本进行比较。 ### 👥 适合对象 - **大模型算法学习者**：希望通过 PyTorch Notebook 理解 Transformer、训练、微调、推理和模型压缩。 - **性能与系统学习者**：希望进一步学习显存、Profiling、通信、Triton、CUDA 和 GPU 优化。 - **项目实践者**：希望通过 benchmark、真实 GPU 和 inference backend 实验，建立可复现、可比较的工程判断。 ## 🌐 教程总览 教程提供两种阅读方式：按 `Part 00 -> Part 04` 逐层推进，或从大模型架构演进、后训练优化、推理优化、性能优化和算子优化五条主学习路线进入，再按问题回补基础与横向专题。五条路线的排列表示从模型结构、能力形成到服务运行、性能诊断和底层实现的对象层次，不是严格的前置依赖。推荐先从 [`Part 02`](./02_PyTorch_Algorithms/intro.md) 建立算法实践感，再按需要回补 `Part 00` / `Part 01`，最后进入 `Part 03` / `Part 04`；完成相关主线后，可进入 `Part 05` 的综合项目，把机制、实验和架构决策收敛为可交付方案。 [topic_discussion](./topic_discussion/intro.md) 用于组织跨 Part 的专题路线。页面顶部提供常用专题入口，下面的资产总览和专题总览分别说明主线结构与专题覆盖范围。  <details> <summary>📚 查看完整资产总览</summary>  这套教程不要求从 `00` 开始按顺序硬读。`00` 主要是前置补齐区，如果你已有基础，可以直接从最相关的部分开始；下面这张表会直接告诉你：每一部分学什么、包含哪些组、适合谁、当前进度如何。 | 部分 | 组别 | 内容定位 | 适合对象 | 状态 | | ---- | ---- | ---- | ---- | ---- | | [`第零部分：前置知识与环境准备（5 组 / 20 节，已完成，持续优化）`](./00_Prerequisites/intro.md) | [`0A Python 基础与数据表示（4 节）`](./00_Prerequisites/0A.md) / [`0B PyTorch 张量与自动求导（4 节）`](./00_Prerequisites/0B.md) / [`0C PyTorch 模型与训练生命周期（4 节）`](./00_Prerequisites/0C.md) / [`0D Transformer Block 与模型组件（4 节）`](./00_Prerequisites/0D.md) / [`0E 运行诊断与实验基础（4 节）`](./00_Prerequisites/0E.md) | 把 Python、NumPy、PyTorch、训练循环、调试工具和性能意识搭好。 | 第一次进入教程、需要补齐入门前置的人。 | ✅ 已完成，持续优化 | | [`第一部分：硬件、数学与系统（6 组 / 34 节，已完成，持续优化）`](./01_Hardware_Math_and_Systems/intro.md) | [`1A 数值与规模（4 节）`](./01_Hardware_Math_and_Systems/1A.md) / [`1B 单设备执行、内存与访存（9 节）`](./01_Hardware_Math_and_Systems/1B.md) / [`1C 通信、并行与容错（6 节）`](./01_Hardware_Math_and_Systems/1C.md) / [`1D 执行模型、异步调度与算子映射（7 节）`](./01_Hardware_Math_and_Systems/1D.md) / [`1E 编译与后端（4 节）`](./01_Hardware_Math_and_Systems/1E.md) / [`1F 硬件适配与系统约束（4 节）`](./01_Hardware_Math_and_Systems/1F.md) | 理解硬件、规模、访存、通信、执行与系统约束。 | 想先弄清“为什么要这样写”和“为什么要这样部署”的学习者。 | ✅ 已完成，持续优化 | | [`第二部分：PyTorch 算法实战（10 组，已完成，持续优化）`](./02_PyTorch_Algorithms/intro.md) | [`2.1 Decoder 组件与注意力`](./02_PyTorch_Algorithms/2_1.md) / [`2.2 模型架构`](./02_PyTorch_Algorithms/2_2.md) / [`2.3 监督微调与训练控制`](./02_PyTorch_Algorithms/2_3.md) / [`2.4 偏好优化与对齐`](./02_PyTorch_Algorithms/2_4.md) / [`2.5 反向传播与训练内存`](./02_PyTorch_Algorithms/2_5.md) / [`2.6 推理执行基础`](./02_PyTorch_Algorithms/2_6.md) / [`2.7 推理策略与服务调度`]
Excerpt of 29,738 characters
Read on GitHub
553
1
Would you bet a product on this? Bounded 0–100 and slow moving.
matched fp:bc8a23b32777af9e, topic:cuda
matched fp:bc8a23b32777af9e, topic:pytorch