Top AI Repos — open-source AI, indexed and scored
Top AI Repos tracks AI repositories on GitHub and answers two different questions about each one: is it moving right now, and would you bet a product on it.
Top AI Repos tracks AI repositories on GitHub and answers two different questions about each one: is it moving right now, and would you bet a product on it.
一个面向多模态大模型训练的智能数据集构建与评估平台
| Date | Stars |
|---|---|
| 2026-07-24 | 291 |
| 2026-07-25 | 291 |
| 2026-07-28 | 291 |
| 2026-07-30 | 291 |
| 2026-08-06 | 291 |
Today
— stars today
This week
— stars this week
This month
— stars this month
Momentum
0.0
growth rate 0.00%/day
# DatasetLoom - 多模态大模型训练数据智能构建平台        > 🚀 一个面向 **多模态大模型训练** 的智能数据集构建与评估平台，支持图文问答、图像描述、DPO 数据集生成、AI 评分、训练语料导出等全流程。 <div align="center"> <img src="./assets/logo.svg" alt="DatasetLoom Logo" width="80%" /> </div> <div align="center"> 🌐 <strong>简体中文</strong> | <a href="README-en.md">English</a> </div> --- ## 🌟 项目简介 **DatasetLoom** 是一款高质量的 **多模态训练数据集构建平台**，专为 AI 工程师、研究人员和团队设计。 基于 **Next.js + NestJS + Turborepo** 的现代化 Monorepo 架构，实现前后端解耦、高可维护性与灵活扩展。平台支持从文档解析、图像标注到模型评分、语料导出的完整数据流水线，集成 RAG 能力，让大模型“基于真实知识”生成对话数据集，**进而**构建更专业、准确、可追溯的 SFT 与 DPO 训练数据。 🎯 核心能力： - 监督微调（SFT）语料生成 - 偏好对齐（DPO）数据集构建 - 图文问答（VQA）与图像描述生成 - 模型输出自动评分与对比 - 基于上传文档与 RAG 生成真实、专业、有依据的对话数据集 - 支持嵌入模型配置与 Qdrant 向量数据库 - 支持 GPT-4V、LLaVA、Qwen-VL 等多模型接入 - 多人协作与权限管理 --- ## ✨ 核心特性 | 特性 | 说明 | |-------------------|-------------------------------------------| | **多模态数据支持** | 支持图像、PDF、Word、Markdown、TXT 等格式上传与解析 | | **智能文档分块** | 支持按段落、标题、语义等方式自动分块 | | **图像标注与生成** | 支持区域标注、图文问答、图像描述一键生成 | | **AI 自动评分系统** | 集成大模型对输出质量打分，支持多模型对比 | | **DPO/SFT 数据集构建** | 可配置策略生成偏好对或指令微调语料 | | **RAG 增强对话生成** | 结合向量数据库，**驱动模型**基于真实文档生成专业对话数据 | | **嵌入模型管理** | 支持 OpenAI、Hugging Face、本地部署的 Embedding 模型 | | **向量数据库集成** | 内建 **Qdrant** 支持，高性能向量存储与相似度检索 | | **用户与权限管理** | 支持角色控制（管理员、协作者、访客） | | **训练语料导出** | 支持 JSON、CSV、HuggingFace Dataset 等格式导出 | | **API 文档化** | 后端集成 Swagger，访问 `/api-docs` 即可调试 | --- ## 📸 截图预览 | 登录页 | 项目列表 | |---------------------------------------|-----------------------------------------------| |  |  | | 文档管理 | 分块策略 | |------------------------------------------------|---------------------------------------------------| |  |  | | 问题生成 | 数据集导出 | |------------------------------------------------|-------------------------------------------------| |  |  | > 🔍 **API 文档地址**：[http://localhost:3088/api-docs](http://localhost:3088/api-docs) --- ## 🛠 技术栈 | 层级 | 技术 | |-------|----------------------------------------------| | 前端 | Next.js App Router + React 18 + Tailwind CSS | | 后端 | NestJS + TypeScript + RESTful API + Swagger | | ORM | Prisma | | 向量数据库 | Qdrant | | 构建工具 | Turborepo + pnpm | | 数据库 | PostgreSQL | | 部署 | Docker + Docker Compose | --- ## 🚀 快速开始（开发环境） ### 1. 克隆项目 ```bash git clone https://github.com/599yongyang/DatasetLoom.git cd DatasetLoom ``` ### 2. 配置环境变量 ```bash cp .env.example .env ``` > 修改 `.env` 中的 `DATABASE_URL` ### 3. 安装 pnpm（包管理工具） 本项目使用 [pnpm](https://pnpm.io/) 作为包管理工具。如果尚未安装，请运行： ```bash # 使用 npm
Excerpt of 6,101 characters
Read on GitHubWould you bet a product on this? Bounded 0–100 and slow moving.
matched fp:3735c17bc212917e, topic:dataset, readme:dataset
matched fp:3735c17bc212917e, topic:llm
matched fp:3735c17bc212917e, topic:vlm