Top AI Repos — open-source AI, indexed and scored
Top AI Repos tracks AI repositories on GitHub and answers two different questions about each one: is it moving right now, and would you bet a product on it.
Top AI Repos tracks AI repositories on GitHub and answers two different questions about each one: is it moving right now, and would you bet a product on it.
A Large-scale Chinese Short-Text Conversation Dataset and Chinese pre-training dialog models
| Date | Stars |
|---|---|
| 2026-07-24 | 1957 |
| 2026-07-25 | 1957 |
| 2026-07-28 | 1957 |
| 2026-07-30 | 1957 |
| 2026-08-06 | 1957 |
Today
— stars today
This week
— stars this week
This month
— stars this month
Momentum
0.0
growth rate 0.00%/day
# CDial-GPT
* 本项目提供了一个大规模中文对话数据集，并提供了在此数据集上的中文对话预训练模型（中文GPT模型），更多信息可参考我们的[论文](https://arxiv.org/abs/2008.03946)。
* 本项目代码修改自[TransferTransfo](https://github.com/huggingface/transfer-learning-conv-ai)，使用了HuggingFace Pytorch版的[Transformers](https://github.com/huggingface/transformers)库, 可用于预训练与微调。
## 目录
* <a href="#Dataset-zh">数据集概况</a>
* <a href="#Pre-training-zh">预训练模型概况</a>
* <a href="#Evaluation-zh">评测结果</a>
## News
- 2022-06-09: LCCC数据集现在可以通过huggingface的[datasets](https://github.com/huggingface/datasets)库加载：
```python
from datasets import load_dataset
dataset = load_dataset("lccc", "base") # or "large"
```
- 2022-04-26: 一个新的多模态对话数据集[MMChat](https://github.com/silverriver/MMChat)，欢迎大家使用。
- 2021-02-28: 一个[对话数据清洗框架](https://github.com/lemon234071/clean-dialog)，欢迎大家提bug和加速优化算法，以及新的清洗功能等等。
- 2021-01-09: 实验室出版新书[《现代自然语言生成》](https://github.com/thu-coai/NLG_book)，欢迎大家阅读购买。
- 2020-11-20: 预训练模型新工作[SentiLARE](http://coai.cs.tsinghua.edu.cn/tools/4)。本工作将词级别的语言学知识（包括词性和词的情感极性）引入预训练语言模型中，提出了一种适用于情感分析任务的语言表示模型SentiLARE，欢迎大家使用。
- 2020-10-18: 我们的论文《A Large-Scale Chinese Short-Text Conversation Dataset》获得了NLPCC2020 Best Student Paper Award。 🎉 🎉 🎉
- 2020-09-08: 感谢[@xiejiachen](https://github.com/xiejiachen)所提供的[可视化Web界面](https://github.com/thu-coai/CDial-GPT/tree/master/contrib/dash_app)。
- 2020-09-02: 可用[bert4keras](https://github.com/bojone/bert4keras)加载[TF版本的CDial-GPT模型](https://github.com/bojone/CDial-GPT-tf)，感谢苏剑林[@bojone](https://github.com/bojone)提供代码。
## <a name="#Dataset-zh">数据集概况</a>
我们所提供的数据集LCCC(Large-scale Cleaned Chinese Conversation)主要包含两部分:
`LCCC-base` ([百度网盘](https://pan.baidu.com/s/1gKnFukU6OJl-wSdukK-wUw?pwd=9p23), [Google Drive](https://drive.google.com/file/d/1oobhYW_S_vPPzP5bLAUTIm7TaRzryxgW/view?usp=sharing)) 和
`LCCC-large` ([百度网盘](https://pan.baidu.com/s/1Y_cFEWXrNapBRCV0OOlBGg?pwd=zdmn), [Google Drive](https://drive.google.com/file/d/1hhxXqEqmXegf8Ca0MVQyVshlEi7hsjPi/view?usp=sharing)).
我们设计了一套严格的数据过滤流程来确保该数据集中对话数据的质量。
这一数据过滤流程中包括一系列手工规则以及若干基于机器学习算法所构建的分类器。
我们所过滤掉的噪声包括：脏字脏词、特殊字符、颜表情、语法不通的语句、上下文不相关的对话等。
该数据集的统计信息如下表所示。
其中，我们将仅包含两个语句的对话称为“单轮对话”，我们将包含两个以上语句的对话称为“多轮对话”。
统计词表大小时使用 [Jieba](https://github.com/fxsjy/jieba) 分词。
| LCCC-base <br> ([百度网盘](https://pan.baidu.com/s/1gKnFukU6OJl-wSdukK-wUw?pwd=9p23), [Google Drive](https://drive.google.com/file/d/1oobhYW_S_vPPzP5bLAUTIm7TaRzryxgW/view?usp=sharing)) | 单轮对话 | 多轮对话 |
| :----------------------------------------------------------- | :--------- | :--------- |
| 总对话轮次 | 3,354,232 | 3,466,274 |
| 总对话语句 | 6,708,464 | 13,365,256 |
| 总字符数 | 68,559,367 | 163,690,569 |
| 词表大小 | 372,063 | 666,931 |
| 对话语句的平均词数 | 6.79 | 8.32 |
| 每轮对话的平均语句数 | 2 | 3.86 |
请注意， LCCC-base 数据集的清洗过程比 LCCC-large 更为严格，因此其规模也更小。
| LCCC-large <br> ([百度网盘](https://pan.baidu.com/s/1Y_cFEWXrNapBRCV0OOlBGg?pwd=zdmn), [Google Drive](https://drive.google.com/file/d/1hhxXqEqmXegf8Ca0MVQyVshlEi7hsjPi/view?usp=sharing)) | 单轮对话 | 多轮对话 |
| :----------------------------------------------------------- | :--------- | :--------- |
| 总对话轮次 | 7,273,804 | 4,733,955 |
| 总对话语句 | 14,547,608 | 18,341,167 |
| 总字符数 | 162,301,556 | 217,776,649 |
| 词表大小 | 662,514 | 690,027 |
| 对话语句的评价词数 | 7.45 | 8.14 |
| 每轮对话的平均语句数 | 2 | 3.87 |
LCCC-base 数据集中的原始对话数据来自于微博对话，LCCC-large 数据集中的原始对话数据在这些微博对话的基础上融合了其他开源Excerpt of 28,942 characters
Read on GitHub
28
Silver · China
14
2
Guan Wang · Manulife · Singapore
1
1
Would you bet a product on this? Bounded 0–100 and slow moving.
matched fp:7b4485fb096981a2, topic:pytorch, desc:pre-training, readme:pre-training
matched fp:7b4485fb096981a2, topic:gpt