Top AI Repos — open-source AI, indexed and scored

Top AI Repos tracks AI repositories on GitHub and answers two different questions about each one: is it moving right now, and would you bet a product on it.

yeyupiaoling/Whisper-Finetune

Fine-tune the Whisper speech recognition model to support training without timestamp data, training with timestamp data, and training without speech data. Accelerate inference and support Web deployment, Windows desktop deployment, and Android deployment

56Apache-2.0C

View on GitHub

Stars: 1,220
Forks: 223
Watchers: 1,220
Open issues: 1
Contributors: 2

Star history, last 90 days+1 over 5 snapshots

2026-07-24 · 1,2192026-08-06 · 1,220

Star history, last 90 days
Date	Stars
2026-07-24	1219
2026-07-25	1219
2026-07-28	1219
2026-07-30	1220
2026-08-06	1220

Today

— stars today

This week

— stars this week

This month

— stars this month

Momentum

0.0

growth rate 0.00%/day

From the README

# 微调Whisper语音识别模型和加速推理

简体中文 | [English](./README_en.md)

![python version](https://img.shields.io/badge/python-3.8+-orange.svg)
![GitHub forks](https://img.shields.io/github/forks/yeyupiaoling/Whisper-Finetune)
![GitHub Repo stars](https://img.shields.io/github/stars/yeyupiaoling/Whisper-Finetune)
![GitHub](https://img.shields.io/github/license/yeyupiaoling/Whisper-Finetune)
![支持系统](https://img.shields.io/badge/支持系统-Win/Linux/MAC-9cf)

## 前言

OpenAI在开源了号称其英文语音辨识能力已达到人类水准的Whisper项目，且它亦支持其它98种语言的自动语音辨识。Whisper所提供的自动语音识与翻译任务，它们能将各种语言的语音变成文本，也能将这些文本翻译成英文。本项目主要的目的是为了对Whisper模型使用Lora进行微调，**支持无时间戳数据训练，有时间戳数据训练、无语音数据训练**。目前开源了好几个模型，具体可以在[openai](https://huggingface.co/openai)查看，下面列出了常用的几个模型。另外项目最后还支持CTranslate2加速推理和GGML加速推理，提示一下，加速推理支持直接使用Whisper原模型转换，并不一定需要微调。支持Windows桌面应用，Android应用和服务器部署。

## 在线试用

使用whisper-small微调后的模型：[在线演示](https://tools.yeyupiaoling.cn/speech/whisper)

<div align="center">
  <img src="https://tools.yeyupiaoling.cn/static/wechat-qr/whisper.jpg" alt="微信小程序" width="200"><br/>
  微信小程序(whisper-small微调后的模型)
</div>



## 支持模型

 - openai/whisper-tiny
 - openai/whisper-base
 - openai/whisper-small
 - openai/whisper-medium
 - openai/whisper-large
 - openai/whisper-large-v2
 - openai/whisper-large-v3
 - openai/whisper-large-v3-turbo

**欢迎大家扫码入知识星球（左）或者QQ群（右）讨论，知识星球里面提供项目的模型文件和博主其他相关项目的模型文件，也包括其他一些资源。**

<div align="center">
  <img src="https://yeyupiaoling.cn/zsxq.jpg" alt="知识星球" width="400">
  <img src="https://yeyupiaoling.cn/qq.jpg" alt="QQ群" width="400">
</div>


**使用环境：**

- Anaconda 3
- Python 3.11
- Pytorch 2.4.0
- Ubuntu 18.04
- GPU A100-PCIE-40GB*1


### 视频讲解：[哔哩哔哩](https://www.bilibili.com/video/BV1S8411o7rm/)

### 演示地址：[Web部署](https://whisper.yeyupiaoling.cn:8082/)

## 目录
 - [项目主要程序介绍](#项目主要程序介绍)
 - [模型测试表](#模型测试表)
 - [安装环境](#安装环境)
 - [准备数据](#准备数据)
 - [微调模型](#微调模型)
   - [单卡训练](#单卡训练)
   - [多卡训练](#多卡训练)
 - [合并模型](#合并模型)
 - [评估模型](#评估模型)
 - [预测](#预测)
 - [GUI界面预测](#GUI界面预测)
- [Web部署](#Web部署)
    - [接口文档](#接口文档)
- [使用Ctranslate2格式模型预测](#使用Ctranslate2格式模型预测)
- [Android部署](#Android部署)
 - [Windows桌面应用](#Windows桌面应用)
 - [打赏作者](#打赏作者)

<a name='项目主要程序介绍'></a>

## 项目主要程序介绍

1. `aishell.py`：制作AIShell训练数据。
2. `finetune.py`：微调模型。
3. `merge_lora.py`：合并Whisper和Lora的模型。
4. `evaluation.py`：评估使用微调后的模型或者Whisper原模型。
5. `infer.py`：使用调用微调后的模型或者transformers上的Whisper模型预测。
6. `infer_ct2.py`：使用转换为CTranslate2的模型预测，主要参考这个程序用法。
7. `infer_gui.py`：有GUI界面操作，使用调用微调后的模型或者transformers上的Whisper模型预测。
8. `infer_server.py`：使用调用微调后的模型或者transformers上的Whisper模型部署到服务器端，提供给客户端调用。
9. `convert-ggml.py`：转换模型为GGML格式模型，给Android应用或者Windows应用使用。
10. `AndroidDemo`：该目录存放的是部署模型到Android的源码。
11. `WhisperDesktop`：该目录存放的是Windows桌面应用的程序。


<a name='模型测试表'></a>

## 模型测试表

1. 原始模型字错率测试表。

|          使用模型          |  指定语言   | aishell_test | test_net | test_meeting |  粤语测试集  |   模型获取   | 
|:----------------------:|:-------:|:------------:|:--------:|:------------:|:-------:|:--------:|
|      whisper-tiny      | Chinese |   0.31898    | 0.40482  |   0.75332    |   N/A   | 加入知识星球获取 |
|      whisper-base      | Chinese |   0.22196    | 0.30404  |   0.50378    |   N/A   | 加入知识星球获取 |
|     whisper-small      | Chinese |   0.13897    | 0.18417  |   0.31154    |   N/A   | 加入知识星球获取 |
|     whisper-medium     | Chinese |   0.09538    | 0.13591  |   0.26669    |   N/A   | 加入知识星球获取 |
|     whisper-large      | Chinese |   0.08969    | 0.12933  |   0.23439    |   N/A   | 加入知识星球获取 |
|    whisper-large-v2    | Chinese |   0.08817    | 0.12332  |   0.26547    |   N/A   | 加入知识星球获取 |
|    whisper-large-v3    | Chinese |   0.08086    | 0.11452  |   0.19878    | 0.35301 | 加入知识星球获取 |
| whisper-large-v3-turbo | Chinese |   0.08647    | 0.21225  |   0.20390    | 0.38069 | 加入知识星球获取 |


2. 微调数据集后字错率测试表。

|          使用模型          |   指定语言    |                            数据集                             | aishell_test | test_net | test_meeting |  粤语测试集  |   模型获取   |  
|:----------------------:|:---------:|:----------------------------------------------------------:|:------------:|:--------:|:------

Excerpt of 18,366 characters

Read on GitHub

Top contributors2 shown

yeyupiaoling
夜雨飘零
225
WThirteen
1

Quality score

Would you bet a product on this? Bounded 0–100 and slow moving.

56/10056

Maintenance: 45%; How recently the default branch was pushed to
Releases: 25%; Recency and cadence of tagged releases
Community: 9%; Contributor breadth and bus factor
Issue backlog: 100%; Open issues measured against the size of the audience
Documentation: 96%; README depth, plus a homepage and topics
Licensing: 100%; How freely the code can be adopted

What to know before adopting

No tagged releases
Bus factor of 1 — one contributor dominates
Usable in commercial products with attribution.

Details

Created: 3 years ago
Last push: 3 months ago
Last release: none
Release tag: —
Releases in the last year: 0
Default branch: master
Size: 5.6k KB
Owner type: User
Owner location: —
Discovered via: topic:whisper
First indexed: 13 days ago
Last synced: 12 days ago

yeyupiaoling/Whisper-Finetune

56Apache-2.0C

View on GitHub

Stars: 1,220
Forks: 223
Watchers: 1,220
Open issues: 1
Contributors: 2

Star history, last 90 days+1 over 5 snapshots

2026-07-24 · 1,2192026-08-06 · 1,220

Star history, last 90 days
Date	Stars
2026-07-24	1219
2026-07-25	1219
2026-07-28	1219
2026-07-30	1220
2026-08-06	1220

Today

— stars today

This week

— stars this week

This month

— stars this month

Momentum

0.0

growth rate 0.00%/day

From the README

# 微调Whisper语音识别模型和加速推理

简体中文 | [English](./README_en.md)

![python version](https://img.shields.io/badge/python-3.8+-orange.svg)
![GitHub forks](https://img.shields.io/github/forks/yeyupiaoling/Whisper-Finetune)
![GitHub Repo stars](https://img.shields.io/github/stars/yeyupiaoling/Whisper-Finetune)
![GitHub](https://img.shields.io/github/license/yeyupiaoling/Whisper-Finetune)
![支持系统](https://img.shields.io/badge/支持系统-Win/Linux/MAC-9cf)

## 前言

OpenAI在开源了号称其英文语音辨识能力已达到人类水准的Whisper项目，且它亦支持其它98种语言的自动语音辨识。Whisper所提供的自动语音识与翻译任务，它们能将各种语言的语音变成文本，也能将这些文本翻译成英文。本项目主要的目的是为了对Whisper模型使用Lora进行微调，**支持无时间戳数据训练，有时间戳数据训练、无语音数据训练**。目前开源了好几个模型，具体可以在[openai](https://huggingface.co/openai)查看，下面列出了常用的几个模型。另外项目最后还支持CTranslate2加速推理和GGML加速推理，提示一下，加速推理支持直接使用Whisper原模型转换，并不一定需要微调。支持Windows桌面应用，Android应用和服务器部署。

## 在线试用

使用whisper-small微调后的模型：[在线演示](https://tools.yeyupiaoling.cn/speech/whisper)

<div align="center">
  <img src="https://tools.yeyupiaoling.cn/static/wechat-qr/whisper.jpg" alt="微信小程序" width="200"><br/>
  微信小程序(whisper-small微调后的模型)
</div>



## 支持模型

 - openai/whisper-tiny
 - openai/whisper-base
 - openai/whisper-small
 - openai/whisper-medium
 - openai/whisper-large
 - openai/whisper-large-v2
 - openai/whisper-large-v3
 - openai/whisper-large-v3-turbo

**欢迎大家扫码入知识星球（左）或者QQ群（右）讨论，知识星球里面提供项目的模型文件和博主其他相关项目的模型文件，也包括其他一些资源。**

<div align="center">
  <img src="https://yeyupiaoling.cn/zsxq.jpg" alt="知识星球" width="400">
  <img src="https://yeyupiaoling.cn/qq.jpg" alt="QQ群" width="400">
</div>


**使用环境：**

- Anaconda 3
- Python 3.11
- Pytorch 2.4.0
- Ubuntu 18.04
- GPU A100-PCIE-40GB*1


### 视频讲解：[哔哩哔哩](https://www.bilibili.com/video/BV1S8411o7rm/)

### 演示地址：[Web部署](https://whisper.yeyupiaoling.cn:8082/)

## 目录
 - [项目主要程序介绍](#项目主要程序介绍)
 - [模型测试表](#模型测试表)
 - [安装环境](#安装环境)
 - [准备数据](#准备数据)
 - [微调模型](#微调模型)
   - [单卡训练](#单卡训练)
   - [多卡训练](#多卡训练)
 - [合并模型](#合并模型)
 - [评估模型](#评估模型)
 - [预测](#预测)
 - [GUI界面预测](#GUI界面预测)
- [Web部署](#Web部署)
    - [接口文档](#接口文档)
- [使用Ctranslate2格式模型预测](#使用Ctranslate2格式模型预测)
- [Android部署](#Android部署)
 - [Windows桌面应用](#Windows桌面应用)
 - [打赏作者](#打赏作者)

<a name='项目主要程序介绍'></a>

## 项目主要程序介绍

1. `aishell.py`：制作AIShell训练数据。
2. `finetune.py`：微调模型。
3. `merge_lora.py`：合并Whisper和Lora的模型。
4. `evaluation.py`：评估使用微调后的模型或者Whisper原模型。
5. `infer.py`：使用调用微调后的模型或者transformers上的Whisper模型预测。
6. `infer_ct2.py`：使用转换为CTranslate2的模型预测，主要参考这个程序用法。
7. `infer_gui.py`：有GUI界面操作，使用调用微调后的模型或者transformers上的Whisper模型预测。
8. `infer_server.py`：使用调用微调后的模型或者transformers上的Whisper模型部署到服务器端，提供给客户端调用。
9. `convert-ggml.py`：转换模型为GGML格式模型，给Android应用或者Windows应用使用。
10. `AndroidDemo`：该目录存放的是部署模型到Android的源码。
11. `WhisperDesktop`：该目录存放的是Windows桌面应用的程序。


<a name='模型测试表'></a>

## 模型测试表

1. 原始模型字错率测试表。

|          使用模型          |  指定语言   | aishell_test | test_net | test_meeting |  粤语测试集  |   模型获取   | 
|:----------------------:|:-------:|:------------:|:--------:|:------------:|:-------:|:--------:|
|      whisper-tiny      | Chinese |   0.31898    | 0.40482  |   0.75332    |   N/A   | 加入知识星球获取 |
|      whisper-base      | Chinese |   0.22196    | 0.30404  |   0.50378    |   N/A   | 加入知识星球获取 |
|     whisper-small      | Chinese |   0.13897    | 0.18417  |   0.31154    |   N/A   | 加入知识星球获取 |
|     whisper-medium     | Chinese |   0.09538    | 0.13591  |   0.26669    |   N/A   | 加入知识星球获取 |
|     whisper-large      | Chinese |   0.08969    | 0.12933  |   0.23439    |   N/A   | 加入知识星球获取 |
|    whisper-large-v2    | Chinese |   0.08817    | 0.12332  |   0.26547    |   N/A   | 加入知识星球获取 |
|    whisper-large-v3    | Chinese |   0.08086    | 0.11452  |   0.19878    | 0.35301 | 加入知识星球获取 |
| whisper-large-v3-turbo | Chinese |   0.08647    | 0.21225  |   0.20390    | 0.38069 | 加入知识星球获取 |


2. 微调数据集后字错率测试表。

|          使用模型          |   指定语言    |                            数据集                             | aishell_test | test_net | test_meeting |  粤语测试集  |   模型获取   |  
|:----------------------:|:---------:|:----------------------------------------------------------:|:------------:|:--------:|:------

Excerpt of 18,366 characters

Read on GitHub

Top contributors2 shown

yeyupiaoling
夜雨飘零
225
WThirteen
1

Quality score

Would you bet a product on this? Bounded 0–100 and slow moving.

56/10056

Maintenance: 45%; How recently the default branch was pushed to
Releases: 25%; Recency and cadence of tagged releases
Community: 9%; Contributor breadth and bus factor
Issue backlog: 100%; Open issues measured against the size of the audience
Documentation: 96%; README depth, plus a homepage and topics
Licensing: 100%; How freely the code can be adopted

What to know before adopting

No tagged releases
Bus factor of 1 — one contributor dominates
Usable in commercial products with attribution.

Details

Created: 3 years ago
Last push: 3 months ago
Last release: none
Release tag: —
Releases in the last year: 0
Default branch: master
Size: 5.6k KB
Owner type: User
Owner location: —
Discovered via: topic:whisper
First indexed: 13 days ago
Last synced: 12 days ago

Top AI Repos — open-source AI, indexed and scored

yeyupiaoling/Whisper-Finetune

From the README

Top contributors2 shown

Quality score

What to know before adopting

Categories

Details

yeyupiaoling/Whisper-Finetune

From the README

Top contributors2 shown

Quality score

What to know before adopting

Categories

Details

Top AI Repos — open-source AI, indexed and scored

Trend

From the README

Top contributors2 shown

Quality score

What to know before adopting

Categories

Details

Trend

From the README

Top contributors2 shown

Quality score

What to know before adopting

Categories

Details