Top AI Repos — open-source AI, indexed and scored
Top AI Repos tracks AI repositories on GitHub and answers two different questions about each one: is it moving right now, and would you bet a product on it.
Top AI Repos tracks AI repositories on GitHub and answers two different questions about each one: is it moving right now, and would you bet a product on it.
该仓库主要记录 LLMs 算法工程师相关的顶会论文研读笔记（多模态、PEFT、小样本QA问答、RAG、LMMs可解释性、Agents、CoT）
| Date | Stars |
|---|---|
| 2026-07-31 | 387 |
| 2026-08-02 | 387 |
| 2026-08-06 | 387 |
Today
— stars today
This week
— stars this week
This month
— stars this month
Momentum
0.0
growth rate 0.00%/day
# LLMs 论文研读社
> 作者：杨夕
>
> 介绍：该仓库主要记录 LLMs 算法工程师相关的顶会论文研读笔记（多模态、PEFT、小样本QA问答、RAG、LMMs可解释性、Agents、CoT）
>
> LLMs 九层妖塔 地址：https://github.com/km1994/LLMsNineStoryDemonTower
>
> LLMs 千面郎君 地址：https://github.com/km1994/LLMs_interview_notes
>
> LLMs 论文学习笔记：https://gitee.com/km601/llms_paper
>
> NLP 百面百搭 地址：https://github.com/km1994/NLP-Interview-Notes
>
> NLP论文学习笔记：https://github.com/km1994/nlp_paper_study
>
> 推荐系统 百面百搭 地址：https://github.com/km1994/RES-Interview-Notes
>
> 推荐系统论文学习笔记：https://github.com/km1994/RS_paper_study
>
> 搜索引擎 百面百搭 地址：https://github.com/km1994/search-engine-Interview-Notes 【编写ing】
>
> GCN 论文学习笔记：https://github.com/km1994/GCN_study
>
> **推广搜 军火库**：https://github.com/km1994/recommendation_advertisement_search
> 手机版笔记，可以关注公众号 **【关于NLP那些你不知道的事】** 获取，并加入 【NLP && 推荐学习群】一起学习！！！
<img src="resource/pic/20230818133801.jpg" width="50%" >
> LLMs 千面郎君 面试交流群 (注：人满 可 添加 小编wx：yzyykm666 加群！)
- [LLMs 论文研读社](#llms-论文研读社)
- [多模态篇](#多模态篇)
- [GPT4Video 篇](#gpt4video-篇)
- [PEFT 系列篇](#peft-系列篇)
- [GPT 系列篇](#gpt-系列篇)
- [Table 解析篇](#table-解析篇)
- [RAG 系列篇](#rag-系列篇)
- [RAG Trick篇](#rag-trick篇)
- [RAG应用领域篇](#rag应用领域篇)
- [医疗领域QA问答](#医疗领域qa问答)
- [宗教领域QA问答](#宗教领域qa问答)
- [常识领域QA问答](#常识领域qa问答)
- [法律领域QA问答](#法律领域qa问答)
- [知识图谱领域QA问答](#知识图谱领域qa问答)
- [任务型领域QA问答](#任务型领域qa问答)
- [汽车领域QA问答](#汽车领域qa问答)
- [Prompt 系列篇](#prompt-系列篇)
- [LMMs 可解释性篇](#lmms-可解释性篇)
- [LLMs4KG 篇](#llms4kg-篇)
- [LLMs Agents 篇](#llms-agents-篇)
- [角色扮演(Role-Play)](#角色扮演role-play)
- [Attention 篇](#attention-篇)
- [搜索 篇](#搜索-篇)
- [如何 通过 大模型 构建 “query-doc”？](#如何-通过-大模型-构建-query-doc)
- [如何 通过 大模型 标注 “query-doc” 正负样例？](#如何-通过-大模型-标注-query-doc-正负样例)
- [如何 通过 大模型 改写 “query-doc”？](#如何-通过-大模型-改写-query-doc)
- [如何 通过 大模型 综合利用PRF（伪相关反馈）+GRF（生成相关反馈）？](#如何-通过-大模型-综合利用prf伪相关反馈grf生成相关反馈)
- [如何 通过 大模型 进行 召排？](#如何-通过-大模型-进行-召排)
- [何为 召回？](#何为-召回)
- [召回 存在哪些问题？](#召回-存在哪些问题)
- [如何 基于encoder的LLM检索器？](#如何-基于encoder的llm检索器)
- [如何 基于生成式的LLM检索器？](#如何-基于生成式的llm检索器)
- [如何 通过 大模型 进行 排序？](#如何-通过-大模型-进行-排序)
- [微调LLM进行相似度计算](#微调llm进行相似度计算)
- [提示LLM](#提示llm)
- [CoT 篇](#cot-篇)
- [微调数据工程 篇](#微调数据工程-篇)
- [高效大模型推理 篇](#高效大模型推理-篇)
- [大模型评估篇](#大模型评估篇)
- [大模型预训练篇](#大模型预训练篇)
- [机器人篇](#机器人篇)
- [强化学习篇](#强化学习篇)
- [数字人](#数字人)
- [参考](#参考)
## 多模态篇
- Gemini：一族功能强大的多模态模
- 论文名称：Gemini: A Family of Highly Capable Multimodal Models
- 论文地址：https://arxiv.org/pdf/2312.11805
- 机构：Google
- Github 地址：
- 会议：
- 论文方法：该论文介绍了一种新的多模态模型系列，Gemini，在图像、音频、视频和文本理解方面具有非凡的能力。Gemini系列包括Ultra、Pro和Nano三种规模，适用于从复杂的推理任务到设备上的内存受限用例。
- 论文实验结果：在广泛的基准测试中，该论文最先进的Gemini Ultra模型在32个基准测试中有30个取得了最新的进展，特别是首次在公认的考试基准MMLU上达到人类专家水平，并在该论文检查的20个多模态基准测试中改进了最新的技术水平。该论文相信Gemini模型在跨模态推理和语言理解方面的新能力将能够支持各种用例，并讨论了该论文在负责任地向用户部署它们方面的方法。
- 评估GPT4-V在结构化推理任务上的表现
- 论文名称：Assessing GPT4-V on Structured Reasoning Tasks
- 论文地址：https://arxiv.org/pdf/2312.11524
- 机构：OpenAI
- Github 地址：
- 会议：
- 论文方法：这篇论文主要评估了最新的语言模型GPT-4V和其他五个基准模型在结构化推理任务上的表现。这些任务包括数学推理、视觉数据分析和代码生成。
- 研究结果显示，引入视觉Chain-of-Thought的多模态LLMs相比于普通模型有显著的提升。同时，论文还对模型表现良好和困难的场景进行了分类分析，突出了多模态推理中所面临的挑战。
- ProTIP: 渐进式工具检索改善规划
- 论文名称：ProTIP: Progressive Tool Retrieval Improves Planning
- 论文地址：https://arxiv.org/pdf/2312.10332
- 机构：
- Github 地址：
- 会议：
- 论文方法：这篇论文介绍了一种名为ProTIP的渐进式工具检索框架，用于复杂的多步骤规划任务。该框架通过对比学习的方式隐式地进行任务分解，同时保持子任务-工具的原子性。
- 在ToolBench数据集上，ProTIP在工具检索方面超越了基于ChatGPT的任务分解方法，并且在TR的Recall@K=10方面提高了24％，在计划生成方面工具准确性提高了41％。
- LLaVA：经典的多模态大模型
- 论文名称：Visual Instruction Tuning
- 论文地址：https://arxiv.org/abs/2304.08485
- 机构：微软研究院和哥伦比亚大学
- Github 地址：https://github.com/haotian-liu/LLaVA
- 会议：
- 动机：像ChatGPT这种大语言模型只接受文字输入，那么如何让大语言模型接收图像输入呢？
- 论文方法：LLaVA提出了一种方法，
- 将Clip作为图像的编码器，在Clip后面加入一个线性映射层;
- 将Clip编码后的图像特征 Zu 映射到语言模型特征空间中，得到视觉特征 Hv ;
- 将其和文本的编码（语言指令的编码）一起送入到Language Model中。
- 训练方式：
- 第一阶段：**预训练阶段**。在这个阶段，**只训练线性映射层(Projection W)，目的是学习图像空间到语言模型词向量空间的映射**，这阶段使用的数据集为CC3M；
- 第二阶段：**微调阶段**。在这Excerpt of 58,187 characters
Read on GitHubWould you bet a product on this? Bounded 0–100 and slow moving.
matched fp:94e7d6f23e740bf6, topic:lora, topic:peft, desc:peft