Top AI Repos — open-source AI, indexed and scored
Top AI Repos tracks AI repositories on GitHub and answers two different questions about each one: is it moving right now, and would you bet a product on it.
Top AI Repos tracks AI repositories on GitHub and answers two different questions about each one: is it moving right now, and would you bet a product on it.
llm-export can export llm model to onnx.
| Date | Stars |
|---|---|
| 2026-07-31 | 355 |
| 2026-08-05 | 355 |
| 2026-08-14 | 356 |
| 2026-08-28 | 356 |
| 2026-09-08 | 357 |
| 2026-09-20 | 357 |
Today
— stars today
This week
— stars this week
This month
+1 stars this month
Momentum
0.0
growth rate 0.00%/day
# LLM-Export [](https://badge.fury.io/py/llmexport) [](https://www.python.org/downloads/release/python-380/) [](https://opensource.org/licenses/MIT) [English](./README_en.md) | 中文 一个高效的大语言模型导出工具，能够将 LLM 模型导出为 ONNX 和 MNN 格式，支持量化优化和多模态模型。 ## ✨ 主要特性 - 🚀 **动态形状支持**：优化原始代码，支持动态输入形状 - 🚀 **模型优化**：减少常量部分，提升推理性能 - 🚀 **自动优化**：集成 [OnnxSlim](https://github.com/inisis/OnnxSlim) 优化 ONNX 模型，性能提升约 5% (感谢 [@inisis](https://github.com/inisis)) - 🚀 **LoRA 支持**：支持 LoRA 权重的合并/分离导出 - 🚀 **量化技术**：支持 AWQ、GPTQ、HQQ等多种量化方法 - 🚀 **EAGLE 支持**：支持 EAGLE 推理加速技术 - 🚀 **多模态支持**：支持文本、图像、音频等多模态模型 - 🚀 **推理框架**：提供 [MNN](https://github.com/wangzhaode/mnn-llm) 和 [ONNX](https://github.com/wangzhaode/onnx-llm) 推理代码 ## 📜 快速开始 ### 安装 ```bash # 从 PyPI 安装（推荐） pip install llmexport # 从 GitHub 安装最新版本 pip install git+https://github.com/wangzhaode/llm-export@master # 本地开发安装 git clone https://github.com/wangzhaode/llm-export cd llm-export pip install -e . ``` ### 基本用法 #### 1. 下载模型 ```bash # 使用 Hugging Face CLI huggingface-cli download Qwen/Qwen2.5-1.5B-Instruct --local-dir Qwen2.5-1.5B-Instruct # 或使用 ModelScope（国内用户推荐） modelscope download Qwen/Qwen2.5-1.5B-Instruct --local_dir Qwen2.5-1.5B-Instruct ``` #### 2. 模型测试 ```bash # 文本对话测试 llmexport --path Qwen2.5-1.5B-Instruct --test "你好，请介绍一下你自己" # 多模态测试（图像+文本） llmexport --path Qwen2-VL-2B-Instruct --test "<img>image_url</img>描述一下这张图片" ``` #### 3. 模型导出 ```bash # 导出为 ONNX 格式 llmexport --path Qwen2.5-1.5B-Instruct --export onnx # 导出为 MNN 格式（默认 4bit 量化） llmexport --path Qwen2.5-1.5B-Instruct --export mnn # 自定义量化参数 llmexport --path Qwen2.5-1.5B-Instruct --export mnn --quant_bit 8 --quant_block 128 # 导出 EAGLE 模型 llmexport --path Qwen2.5-1.5B-Instruct --export mnn --eagle_path path/to/eagle ``` ## 🔧 高级功能 ### 模型导出选项 - **ONNX 导出**：使用 `--export onnx` 导出为 ONNX 格式 - **MNN 导出**：使用 `--export mnn` 导出为 MNN 格式 - **模型优化**：默认启用 OnnxSlim 优化，使用 `--onnx_slim` 显式启用 - **EAGLE 导出**：使用 `--eagle_path` 导出 EAGLE 加速模型 ### 量化配置 - **量化位数**：`--quant_bit 4/8` （默认 4bit） - **量化块大小**：`--quant_block 64/128` （默认 64） - **LM Head 量化**：`--lm_quant_bit` 单独设置输出层量化 - **对称量化**：`--sym` 启用对称量化（无零点） ### 量化算法支持 - **AWQ 量化**：`--awq` 启用 AWQ 量化 - **HQQ 量化**：`--hqq` 启用 HQQ 量化 - **GPTQ 量化**：`--gptq_path` 加载 GPTQ 量化模型 - **Smooth 量化**：`--smooth` 启用 Smooth 量化 ### LoRA 支持 - **LoRA 合并**：`--lora_path` 指定 LoRA 权重路径 - **LoRA 分离**：`--lora_split` 分离导出 LoRA 权重 ### 多模态支持 - **视觉量化**：`--visual_quant_bit`、`--visual_quant_block` 设置视觉模块量化 - **视觉对称**：`--visual_sym` 视觉模块对称量化 ### 其他选项 - **详细输出**：`--verbose` 显示详细日志 - **性能评估**：`--ppl` 获取所有 token 的 logits - **自定义输出**：`--dst_path` 指定输出目录（默认 `./model`） - **EAGLE 支持**：`--eagle_path` 指定 EAGLE 模型路径 ## 📎 命令行参数 ### 基本参数 | 参数 | 类型 | 说明 | |------|------|------| | `--path` | 必需 | 模型路径，支持本地目录或 Hugging Face 模型 ID | | `--export` | 可选 | 导出格式：`onnx` 或 `mnn` | | `--test` | 可选 | 测试查询字符串 | | `--dst_path` | 可选 | 输出目录（默认 `./model`） | | `--verbose` | 开关 | 显示详细日志 | ### 量化参数 | 参数 | 默认值 | 说明 | |------|--------|------| | `--quant_bit` | 4 | 量化位数（4 或 8） | | `--quant_block` | 64 | 量化块大小（0 表示通道级量化） | | `--lm_quant_bit` | 同 `quant_bit` | LM Head 层量化位数 | | `--visual_quant_bit` | 模型相关 | 视觉模块量化位数 | | `--visual_quant_block` | 模型相关 | 视觉模块量化块大小 | ### 量化算法 | 参数 | 说明 | |------|------| | `--awq` | 启用 AWQ 量化 | | `--hqq` | 启用 HQQ 量化 | | `--smooth` | 启用 Smooth 量化 | | `--sym` | 启用对称量化（无零点） | | `--visual_sym` | 视觉模块对称量化 | ### LoRA 支持 | 参数 | 说明 | |------|------| | `--lora_path` | LoRA 权重路径 | | `--lora_split` | 分离导出 LoRA 权重 | ### EAGLE 支持 | 参数 | 说明 | |------|------| | `--eagle_path` | EAGLE 模型路径 | ### 其他选项 | 参数 | 说明 | |------|------| | `--tokenizer_path` | 分词器路径（默认使用 `--path`） | | `--gptq_path` | GPTQ 量化模型路径 | | `--mnnconvert` | 本地 MNNConvert 路径 | | `--onnx_slim` | 启用 ONNX-Slim 优化 | | `--ppl` | 获取所有 token 的 logits | | `--seperate_embed` | 分离嵌入层以避免量化 | | `--calib_
Excerpt of 5,870 characters
Read on GitHubWould you bet a product on this? Bounded 0–100 and slow moving.
matched fp:d2cfe999b4499fe9, llm:repository description: "llm-export can export llm model to onnx."
matched fp:d2cfe999b4499fe9, llm:repository description: "llm-export can export llm model to onnx."
matched fp:d2cfe999b4499fe9, llm:repository description: "llm-export can export llm model to onnx."