Top AI Repos — open-source AI, indexed and scored
Top AI Repos tracks AI repositories on GitHub and answers two different questions about each one: is it moving right now, and would you bet a product on it.
Top AI Repos tracks AI repositories on GitHub and answers two different questions about each one: is it moving right now, and would you bet a product on it.
一个执着于让CPU\端侧-Model逼近GPU-Model性能的项目，CPU上的实时率(RTF)小于0.1
| Date | Stars |
|---|---|
| 2026-07-24 | 475 |
| 2026-07-25 | 475 |
| 2026-07-28 | 475 |
| 2026-07-30 | 475 |
| 2026-08-06 | 475 |
Today
— stars today
This week
— stars this week
This month
— stars this month
Momentum
0.0
growth rate 0.00%/day
<h1 align="center">
<p>TensorflowASR</p>
<p align="center">
<img alt="python" src="https://img.shields.io/badge/python-%3E%3D3.6-blue">
<img alt="tensorflow" src="https://img.shields.io/badge/tensorflow-%3E%3D2.2.0-orange">
</p>
</h1>
<h2 align="center">
<p>基于Conformer的Tensorflow 2版本的端到端语音识别模型，并且CPU的RTF(实时率)在0.1左右</p>
</h2>
<p align="center">
当前branch为V2版本，为CTC+translate结构
</p>
<p align="center">
欢迎使用并反馈bug
</p>
<p align="center">
旧版请看 [V1版本](https://github.com/Z-yq/TensorflowASR/tree/master)
</p>
## 项目对比
Aishell-1 上训练结果：
**离线结果**
Name|参数量|中文CER|训练轮数|online/offline|测试数据|解码方式|
----|--|--|--|--|----|--|
Wenet(Conformer)|9.5M|6.48%|100|offline|aishell1-test|ctc_greedy|
Wenet(transformer)|9.7M|8.68%|100|offline|aishell1-test|ctc_greedy|
Wenet(Paraformer)|9.0M|6.99%|100|offline|aishell1-test|paraformer_greedy|
FunASR(Paraformer)|9.5M|6.37%|100|offline|aishell1-test|paraformer_greedy|
FunASR(Conformer)|9.5M|6.64%|100|offline|aishell1-test|ctc_greedy|
FunASR(e_branchformer)|10.1M|6.65%|100|offline|aishell1-test|ctc_greedy|
repo(ConformerCTC)|10.1M|6.8%|100|offline|aishell1-test|ctc_greedy|
**流式结果**
Name|参数量|中文CER|训练轮数|online/offline|测试数据|解码方式|
----|--|--|--|--|----|--|
Wenet(U2++Conformer)|10.6M|8.18%|100|online|aishell1-test|ctc_greedy|
Wenet(U2++transformer)|10.3M|9.88%|100|online|aishell1-test|ctc_greedy|
repo(StreamingConformerCTC)|10.1M|7.2%|100|online|aishell1-test|ctc_greedy|
repo(ChunkConformer)|10.7M|8.9%|100|online|aishell1-test|ctc_greedy|
## 实现功能
- VAD+降噪
- 在线流式识别/离线识别
- 标点恢复
- TTS数据增强
- 音色转换数据增强
- 远近场数据增强
## 其它项目
TTS：https://github.com/Z-yq/TensorflowTTS
NLU: -
BOT: -
## TTS数据增强系统
没有数据也可以达到一定水平的ASR效果哟。
针对ASR的TTS：训练数据为aishell1和aishell3，数据类型比较适合ASR。
tips:
- 一共有500个音色
- 仅支持中文
- 如果待合成文本有标点符号请手动去除
- 如果想添加停顿，请在文本中间添加sil
step1： 准备一个待合成的文本列表,假如命名为text.list, egs：
```text
这是第一句话
这是第二句话
这是一句sil有停顿的话
...
```
step2: 下载model
链接：https://pan.baidu.com/s/1deN1PmJ4olkRKw8ceQrUNA
提取码：c0tp
两个都要下载，然后放到目录 ./augmentations/tts_for_asr/models 下面
step3： 然后在根目录下运行脚本：
```python
python ./augmentations/tts_for_asr/tts_augment.py -f text.list -o save_dir --voice_num 10 --vc_num 3
```
其中：
-f 是step1准备的列表
-o 用于保存合成的语料路径，建议是绝对路径。
--voice_num 每句话用多少个音色合成
--vc_num 每句话使用音色转换增强多少次
运行完毕后，会在 -o 下生成wavs目录和utterance.txt
## Mel Layer
参照librosa库，用TF2实现了语音频谱特征提取的层。
或者可以使用更小参数量的[Leaf](https://github.com/google-research/leaf-audio) 。
使用:
- am_data.yml
```
mel_layer_type: Melspectrogram #Spectrogram/leaf
trainable_kernel: True #support train model,not recommend
```
## Cpp Inference
已经更新基于ONNX的CPP项目，
详见 [CppInference ONNX](Inference/CppInference/onnx)
## Python Inference
基于ONNX的python inference方案，详情见[python inference](Inference/PythonInference)
# Streaming Conformer
现在支持流式的Conformer结构啦。
当前实现了两种方式：
- Block Conformer + Global CTC
- 可用于有VAD的短时识别系统，global CTC 来构建上下文信息。
- Chunk Conformer + CTC Picker
- 参考了百度的SMLTA2，先利用音素CTC采样出有效的Feature，再给到lookahead的chunk conformer进行上下文信息构建做出预测。可用于长时间的流式识别系统。
- 
同epoch训练下，Block Conformer和全局conformer的CER仅差0.8%。
Causal Chunk Conformer做了存储管理，默认配置下一次推理的算力消耗是 350MFlops。
两种方式的逻辑如图：
## Pretrained Model
所有结果测试于 _`AISHELL TEST`_ 数据集.
**RTF**(实时率) 测试于**CPU**单核解码任务。
**AM:**
Model Name|Mel layer(USE/TRAIN)| link |code|train data |phoneme CER(%)|Params Size|RTF
----------|--------------------|-----------------------------------------------|----|------------------|:---------:|:-------:|-----
ConformerCTC(S)|True/False|pan.baidu.com/s/1k6miY1yNgLrT0cB-xsqqag|8s53|aishell-1(50 epochs)| 6.4|10M|0.056
StreamingConformerCTC|True/False|pan.baidu.com/s/1Rc0x7LOiExaAC0GNhURkHw|zwh9|aishell-1(50 epochs)| 7.2 |15M|0.08
ChunkConformer|True/False|pan.baidu.com/s/1o_x677WUyWNld-8sNbydxg|ujExcerpt of 8,015 characters
Read on GitHubWould you bet a product on this? Bounded 0–100 and slow moving.
matched fp:26be7f6f34cc93a3, topic:transformer, readme:pretrained model