Top AI Repos — open-source AI, indexed and scored
Top AI Repos tracks AI repositories on GitHub and answers two different questions about each one: is it moving right now, and would you bet a product on it.
Top AI Repos tracks AI repositories on GitHub and answers two different questions about each one: is it moving right now, and would you bet a product on it.
AGI资料汇总学习（主要包括LLM和AIGC），持续更新......
| Date | Stars |
|---|---|
| 2026-07-31 | 510 |
| 2026-08-05 | 511 |
| 2026-08-06 | 511 |
Today
— stars today
This week
— stars this week
This month
— stars this month
Momentum
0.0
growth rate 0.00%/day
# Awesome-AGI [](https://github.com/anuraghazra/github-readme-stats) ## 目录 - [01. 基础理论](#01-基础理论) - [预训练与数据集](#预训练与数据集) - [微调](#微调) - [评估](#评估) - [Prompt Engineering](#prompt-engineering) - [RLHF](#rlhf) - [LLM 扩词表](#llm-扩词表) - [LLM 长文本](#llm-长文本) - [LLM 幻觉](#llm-幻觉) - [LLM 可控性与安全](#llm-可控性与安全) - [LLM 文本检测](#llm-文本检测) - [02. 模型与API](#02-模型与api) - [模型体系分类](#模型体系分类) - [语言大模型](#语言大模型) - [多模态大模型](#多模态大模型) - [OpenAI](#openai) - [03. 工程与部署](#03-工程与部署) - [部署框架](#部署框架) - [分布式并行框架](#分布式并行框架) - [04. 应用实践](#04-应用实践) - [RAG](#rag) - [Agent](#agent) - [NL2SQL](#nl2sql) - [MCP](#mcp) - [05. 开发框架](#05-开发框架) - [LangChain](#langchain) - [LlamaIndex](#llamaindex) --- ## 01. 基础理论 本仓库将大模型的基础理论、训练方法及相关概念整理在 `01-fundamentals/` 目录下，涵盖预训练、微调、评估、Prompt Engineering、RLHF 等核心主题。 ### 预训练与数据集 LLM预训练、微调使用的部分数据集，更多请参考【[DataSet](https://github.com/ArronAI007/Awesome-AGI/blob/main/06-datasets/README.md)】 --- ### 微调 随着ChatGPT的发布，标志着大模型时代已来临，然而通用领域的大模型在企业垂直领域中未必会表现的好，因此会对通用领域大模型进行微调来适配垂直领域知识。 **大模型的微调技术，从不同的方面，有不同的分类：** 从参数规模来说，可以简单分为**全参数微调**和**高效参数微调**。前者一般是用预训练模型作为初始化权重，在特定数据集上继续训练，全部参数都更新的方法。而后者则是期望用更少的资源完成模型参数的更新，包括只更新一部分参数或者说通过对参数进行某种结构化约束，例如稀疏化或低秩近似来降低微调的参数数量。 如果按照在模型哪个阶段使用微调，或者根据模型微调的目标来区分，也可以从提示微调、指令微调、有监督微调的方式来。 高效微调技术可以粗略分为以下三大类： - 增加额外参数（Addition-Based） - 选取一部分参数更新（Selection-Based） - 引入重参数化（Reparametrization-Based） 而在增加额外参数这类方法中，又主要分为类适配器（Adapter-like）方法和软提示（Soft prompts）两个小类。 增加额外参数 Addition-Based，如：Prefix Tuning、Prompt Tuning、Adapter Tuning及其变体 选取一部分参数更新 Selection-Based，如：BitFit 引入重参数化 Reparametrization-Based，如：LoRA、AdaLoRA、QLoRA 混合高效微调，如：MAM Adapter、UniPELT 下图是目前主流PEFT技术的总结：  [PEFT](https://github.com/huggingface/peft)仓库是一个用于微调大模型的工具库，提供了多种高效微调技术的实现。 下面按照LoRA及其扩展模型和其他微调方法分别进行总结： #### LoRA及其扩展技术 | Peft | Description| Paper | Code | Blog | | --- | --- | --- | --- | --- | | LoRA | 1)Transformer的权重矩阵包括Attention模块里用于计算query, key, value的Wq，Wk，Wv以及多头attention的Wo，以及MLP层的权重矩阵，LoRA只应用于Attention模块中的4种权重矩阵，而且通过消融实验发现同时调整 Wq 和 Wv 会产生最佳结果。2)实验还发现，保证权重矩阵的种类的数量比起增加隐藏层维度r更为重要，增加r并不一定能覆盖更加有意义的子空间。3)关于秩的选择，通常情况下，rank为4，8，16即可。4)实验也发现，在众多数据集上LoRA在只训练极少量参数的前提下，最终在性能上能和全量微调匹配，甚至在某些任务上优于全量微调。| [LoRA: Low-Rank Adaptation of Large Language Models](https://arxiv.org/pdf/2106.09685.pdf) | [LoRA Code](https://github.com/microsoft/LoRA) | | | LoRA+ | LoRA+通过为矩阵a和b引入不同的学习率，矩阵B的初始化为0，所以需要比随机初始化的矩阵a需要更大的更新步骤。通过将矩阵B的学习率设置为矩阵A的16倍，作者已经能够在模型精度上获得小幅提高(约2%)，同时将RoBERTa或lama-7b等模型的训练时间加快2倍。 | [LoRA+: Efficient Low Rank Adaptation of Large Models](https://arxiv.org/abs/2402.12354) | | | | AdaLoRA | AdaLoRA是对LoRA的一种改进，它根据重要性评分动态分配参数预算给权重矩阵。具体做法如下：1)调整增量矩分配。AdaLoRA将关键的增量矩阵分配高秩以捕捉更精细和任务特定的信息，而将较不重要的矩阵的秩降低，以防止过拟合并节省计算预算。2)以奇异值分解的形式对增量更新进行参数化，并根据重要性指标裁剪掉不重要的奇异值，同时保留奇异向量。由于对一个大矩阵进行精确SVD分解的计算消耗非常大，这种方法通过减少它们的参数预算来加速计算，同时，保留未来恢复的可能性并稳定训练。3)在训练损失中添加了额外的惩罚项，以规范奇异矩阵P和Q的正交性，从而避免SVD的大量计算并稳定训练。 | [AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning](https://arxiv.org/abs/2303.10512) | [AdaLoRA Code](https://github.com/QingruZhang/AdaLoRA) | | | QLoRA | QLoRA使用一种新颖的高精度技术将预训练模型量化为 4 bit，然后添加一小组可学习的低秩适配器权重，这些权重通过量化权重的反向传播梯度进行微调。QLORA 有一种低精度存储数据类型（4 bit），还有一种计算数据类型（BFloat16）。实际上，这意味着无论何时使用 QLoRA 权重张量，我们都会将张量反量化为 BFloat16，然后执行 16 位矩阵乘法。QLoRA提出了两种技术实现高保真 4 bit微调——4 bit NormalFloat(NF4) 量化和双量化。此外，还引入了分页优化器，以防止梯度检查点期间的内存峰值，从而导致内存不足的错误，这些在过去使得大型模型难以在单台机器上进行微调。 | [QLoRA: Efficient Finetuning of Quantized LLMs](https://arxiv.org/abs/2305.14314) | [QLoRA Code](https://github.com/artidoro/qlora) | | | DoRA | DoRA（Weight-Decomposed Low-Rank Adaptation：权重分解低阶适应）是由NVIDIA最新提出的一种新的参数高效的微调（PEFT）方法。DoRA旨在通过分解预训练权重为幅度（magnitude）和方向（direction）两个组成部分然后分别微调，来提高微调的学习能力和训练稳定性，同时避免额外的推理开销，它特别适用于与LoRA（Low-Rank Adaptation）结合使用。 | [DoRA: Weight-Decomposed Low-Rank Adaptation](https://arxiv.org/pdf/2402.09353.pdf) | [DoRA Code](https://github.com/catid/dora) | | | PiSSA方法 | 仅修改Lora初始化方式显著提高模型微调效果 | [PiSSA:
Excerpt of 27,599 characters
Read on GitHub
6
Vincent Koc · @openclaw · United States
1
Would you bet a product on this? Bounded 0–100 and slow moving.
matched fp:e03052910d079e6b, llm:Repository title and description: 'Awesome-AGI' (Chinese): 'AGI资料汇总学习（主要包括LLM和AIGC），持续更新...' — a curated collection of resources about AGI, LLMs, and AIGC.