Top AI Repos — open-source AI, indexed and scored
Top AI Repos tracks AI repositories on GitHub and answers two different questions about each one: is it moving right now, and would you bet a product on it.
Top AI Repos tracks AI repositories on GitHub and answers two different questions about each one: is it moving right now, and would you bet a product on it.
Train a 1B LLM with 1T tokens from scratch by personal
| Date | Stars |
|---|---|
| 2026-07-31 | 814 |
| 2026-08-02 | 814 |
| 2026-08-06 | 814 |
Today
— stars today
This week
— stars this week
This month
— stars this month
Momentum
0.0
growth rate 0.00%/day
<div align="center">
# 开源中文预训练语言模型Steel-LLM
</div>
\[ 中文 | [English](README_en.md) \]
## 👋 介绍
Steel-LLM是个人发起的从零预训练中文大模型项目。我们使用了1T token的数据预训练一个1B左右参数量的中文LLM。项目从开始到微调出第一版模型耗时了8个月。我们详细的分享了数据收集、数据处理、预训练框架选择、模型设计等全过程，并开源全部代码。让每个人在有8~几十张卡的情况下都能复现我们的工作。得益于开源中文数据，Steel-LLM在中文benchmark上表现优于机构早期发布的一些更大的模型，在ceval达到了42分，cmmlu达到了36分。
<div align="center">
<img src=".github/steel.png" width="200"/>
</div>
<p align="center">
<a href="https://huggingface.co/gqszhanshijin/Steel-LLM" target="_blank">
<img alt="Static Badge" src="https://img.shields.io/badge/%F0%9F%A4%97Hugging%20Face-Steel%20LLM-yellow">
</a>
<span style="display: inline-block; width: 10px;"></span>
<a href="https://www.modelscope.cn/models/zhanshijin/Steel-LLM"><img alt="Static Badge" src="https://img.shields.io/badge/%F0%9F%A4%96modelscope-Steel%20LLM-purple">
</a>
<span style="display: inline-block; width: 10px;"></span>
<a href=".github/wechat_liangangAI.jpg">
<img alt="Static Badge" src="https://img.shields.io/badge/WeChat-%E7%82%BC%E9%92%A2AI-brightgreen?logo=wechat&logoColor=white">
</a><br>
<a href="https://www.zhihu.com/people/zhan-shi-jin-27">
<img alt="Static Badge" src="https://img.shields.io/badge/%E2%98%91%EF%B8%8Fzhihu%20blog-%E6%88%98%E5%A3%AB%E9%87%91-blue">
</a>
<span style="display: inline-block; width: 10px;"></span>
<a href="https://arxiv.org/abs/2502.06635" target="_blank">
<img alt="Arxiv" src="https://img.shields.io/badge/Arxiv-Steel%20LLM-7289da?logo=arxiv&logoColor=red&color=red" />
</a>
"Steel(钢)"取名灵感来源于华北平原一只优秀的乐队“万能青年旅店（万青）”。乐队在做一专的时候条件有限，自称是在“土法炼钢”，但却是一张神专。我们训练LLM的条件同样有限，但也希望能炼出好“钢”来。
## 🔔 公告
### 更新
后续会在数学能力、强化学习、复杂推理等方面进一步探索......
[2025/3/10] 发布了一篇强化学习相关博客：《拒绝采样微调加速RL收敛及模型遗忘问题探究》：https://mp.weixin.qq.com/s/Qk4bN6yFkI39Ye9fsS4NXA
[2025/3/6] 🎉🎉🎉《Steel-LLM:From Scratch to Open Source -- A Personal Journey in Building a Chinese-Centric LLM》被ICLR 2025 workshop 接收
[2025/2/13] 上传了技术报告：https://arxiv.org/abs/2502.06635
[2025/1/17] 更新steel-LLM-chat-v2,微调时加入了英文数据，中英文数据比例和预训练保持一致，最终在ceval上由38分提高到了41.9分，cmmlu从33分提高到了36分。
[2024/11/13] 🔥发布一篇项目汇总文章《个人从零预训练1B LLM心路历程》：https://mp.weixin.qq.com/s/POUugkCNZTzmlKWZVVD1CQ🔥
[2024/10/28]更新了第一版chat模型，在ceval达到了38分，cmmlu达到了33分。
[2024/10/24]发布了Steel-LLM微调和评估的细节。微调时探索了cot、模型刷榜等实验。博客地址：https://mp.weixin.qq.com/s/KK0G0spNw0D9rPUESkHMew
[2024/9/2] HuggingFace更新了480k、660k、720k、980k、1060k（最后一个checkpoint）step的checkpoint。
[2024/8/18] 预训练已经完成，后续进行微调以及评测
[2024/7/18] 使用8*H800继续训练，wandb：https://api.wandb.ai/links/steel-llm-lab/vqf297nr
[2024/6/30] 放出预训练200k个step的checkpoint，[huggingface链接](https://huggingface.co/gqszhanshijin/Steel-LLM/tree/main)
[2024/5/21] 模型开启正式训练，后续不定期放出checkpoint。
[2024/5/19] 基于Qwen1.5完成模型修改，模型大小1.12B：
- FFN层使用softmax moe，相同参数量下有更高的训练速度
- 使用双层的SwiGLU
相关博客:https://zhuanlan.zhihu.com/p/700395878
[2024/5/5] 预训练程序修改相关的博客：https://zhuanlan.zhihu.com/p/694223107
[2024/4/24] 完成训练程序改进：兼容Hugginface格式模型、支持数据断点续训、支持追加新的数据
[2024/4/14] 完成数据收集与处理，生成预训练程序所需要的bin文件。更新数据收集与处理相关的博客：https://zhuanlan.zhihu.com/p/687338497
### 🧑🤝🧑 交流
欢迎加入交流群,人数已超过200，添加微信入群：a1843450905
<br>
## 🤖 预训练
### 数据收集
使用的数据集和链接如下所示，更详细的介绍见[**此篇文章**](https://zhuanlan.zhihu.com/p/687338497)
- [Skywork/Skypile-150B数据集](https://huggingface.co/datasets/Skywork/SkyPile-150B/tree/main/data)
- [wanjuan1.0(nlp部分)](https://opendatalab.org.cn/OpenDataLab/WanJuan1_dot_0?source=Q1NETg)
- [中文维基过滤数据](https://huggingface.co/datasets/pleisto/wikipedia-cn-20230720-filtered)
- [百度百科数据](https://huggingface.co/datasets/xuqinyang/BaiduBaike-5.63M)
- [百度百科问答数据](https://aistudio.baidu.com/datasetdetail/107726)
- [知乎问答数据](https://huggingface.co/datasets/wangrui6/Zhihu-KOL)
- [BELLE对话数据](https://github.com/LianjiaTech/BELLE/tree/main/data/10M)
- [moss项目对话数据](https://hf-mirror.com/datasets/YeungNLP/moss-003-sft-data)
- [firefly1.1M](https://hf-mirror.com/datasets/YeungNLP/firefly-train-1.1M)
- [starExcerpt of 7,765 characters
Read on GitHub
101
41
Zheng0428
2
Would you bet a product on this? Bounded 0–100 and slow moving.
matched fp:bba3d3b2d5b63b5c, topic:llm, topic:llama, topic:qwen