Top AI Repos — open-source AI, indexed and scored
Top AI Repos tracks AI repositories on GitHub and answers two different questions about each one: is it moving right now, and would you bet a product on it.
Top AI Repos tracks AI repositories on GitHub and answers two different questions about each one: is it moving right now, and would you bet a product on it.
自然语言处理（nlp），小姜机器人（闲聊检索式chatbot），BERT句向量-相似度（Sentence Similarity），XLNET句向量-相似度（text xlnet embedding），文本分类（Text classification）， 实体提取（ner，bert+bilstm+crf），数据增强（text augment, data enhance），同义句同义词生成，句子主干提取（mainpart），中文汉语短文本相似度，文本特征工程，keras-http-service调用
| Date | Stars |
|---|---|
| 2026-07-24 | 1535 |
| 2026-07-25 | 1535 |
| 2026-07-28 | 1535 |
| 2026-07-30 | 1535 |
| 2026-08-06 | 1535 |
Today
— stars today
This week
— stars this week
This month
— stars this month
Momentum
0.0
growth rate 0.00%/day
# nlp_xiaojiang
# AugmentText
- 回译（效果比较好）
- EDA（同义词替换、插入、交换和删除）（效果还行）
- HMM-marko（质量较差）
- syntax（依存句法、句法、语法书）（简单句还可）
- seq2seq（深度学习同义句生成，效果不理想，seq2seq代码大都是 [https://github.com/qhduan/just_another_seq2seq] 的，效果不理想）
- 预训练(UNILM生成、开源模型回译)
# ChatBot
- 检索式ChatBot
- 像ES那样直接检索(如使用fuzzywuzzy)，只能字面匹配
- 构造句向量，检索问答库，能够检索有同义词的句子
- 生成式ChatBot（todo）
- seq2seq
- GAN
# ClassificationText
- bert+bi-lstm(keras) approach 0.78~0.79% acc of weBank Intelligent Customer Service Question Matching Competition
- bert + text-cnn(keras) approach 0.78~0.79% acc of weBank Intelligent Customer Service Question Matching Competition
- bert + r-cnn(keras) approach 0.78~0.79% acc of weBank Intelligent Customer Service Question Matching Competition
- bert + avt-cnn(keras) approach 0.78~0.79% acc of weBank Intelligent Customer Service Question Matching Competition
# Ner
- bert命名实体提取(bert12层embedding + bilstm + crf)
- args.py(配置一些参数)
- keras_bert_embedding.py(bert embedding)
- keras_bert_layer.py(layer层, 主要有CRF和NonMaskingLayer)
- keras_bert_ner_bi_lstm.py(主函数, 定义模型、数据预处理和训练预测等)
- layer_crf_bojone.py(CRF层, 未使用)
# FeatureProject
- bert句向量、文本相似度
- bert/extract_keras_bert_feature.py:提取bert句向量特征
- bert/tet_bert_keras_sim.py:测试xlnet句向量cosin相似度
- xlnet句向量、文本相似度
- xlnet/extract_keras_xlnet_feature.py:提取bert句向量特征
- xlnet/tet_xlnet_keras_sim.py:测试bert句向量cosin相似度
- normalization_util指的是数据归一化
- 0-1归一化处理
- 均值归一化
- sig归一化处理
- sim feature（ML）
- distance_text_or_vec:各种计算文本、向量距离等
- distance_vec_TS_SS：TS_SS计算词向量距离
- cut_td_idf：将小黄鸡语料和gossip结合
- sentence_sim_feature：计算两个文本的相似度或者距离，例如qq（问题和问题），或者qa（问题和答案）
# run(可以在win10下,pycharm下运行)
- 1.创建tf-idf文件等（运行2需要先跑1）:
```
python cut_td_idf.py
```
- 2.计算两个句子间的各种相似度，先计算一个预定义的，然后可输入自定义的（先跑1）:
```
python sentence_sim_feature.py
```
- 3.chatbot_1跑起来(fuzzy检索-没)（独立）：
```
python chatbot_fuzzy.py
```
- 4.chatbot_2跑起来(句向量检索-词)（独立）：
```
python chatbot_sentence_vec_by_word.py
```
- 5.chatbot_3跑起来(句向量检索-字)（独立）：
```
python chatbot_sentence_vec_by_char.py
```
- 6.数据增强（eda)： python enhance_eda.py
- 7.数据增强（marko）: python enhance_marko.py
- 8.数据增强（translate_account）: python translate_tencent_secret.py
- 9.数据增强（translate_tools）: python translate_translate.py
- 10.数据增强（translate_web）: python translate_google.py
- 11.数据增强（augment_seq2seq）: 先跑 python extract_char_webank.py生成数据，
再跑 python train_char_anti.py
然后跑 python predict_char_anti.py
- 12.特征计算(bert)（提取特征、计算相似度）:
```
run extract_keras_bert_feature.py
run tet_bert_keras_sim.py
```
# Data
- chinese_L-12_H-768_A-12（谷歌预训练好的模型）
github项目中只是上传部分数据，需要的前往链接: https://pan.baidu.com/s/1I3vydhmFEQ9nuPG2fDou8Q 提取码: rket
解压后就可以啦
- chinese_xlnet_mid_L-24_H-768_A-12(哈工大训练的中文xlnet, mid, 24层, wiki语料+通用语料)
- 下载地址[https://github.com/ymcui/Chinese-PreTrained-XLNet](https://github.com/ymcui/Chinese-PreTrained-XLNet)
- chinese_vector
github项目中只是上传部分数据，需要的前往链接: https://pan.baidu.com/sExcerpt of 6,196 characters
Read on GitHub
145
Would you bet a product on this? Bounded 0–100 and slow moving.
matched fp:2732f0466e7e63b6, topic:nlp, topic:text-classification, desc:text classification
matched fp:2732f0466e7e63b6, topic:chatbot, desc:chatbot, readme:chatbot