Firefly
Firefly
3/5
🧩 软硬件结合
已发布
项目简介
Firefly: 大模型训练工具，支持训练Qwen2.5、Qwen2、Yi1.5、Phi-3、Llama3、Gemma、MiniCPM、Yi、Deepseek、Orion、Xverse、Mixtral-8x7B、Zephyr、Mistral
Firefly: 大模型训练工具，支持训练Qwen2.5、Qwen2、Yi1.5、Phi-3、Llama3、Gemma、MiniCPM、Yi、Deepseek、Orion、Xverse、Mixtral
标签
项目特点
支持预训练、指令微调、DPO，以及全量参数训练、LoRA、QLoRA 高效训练。
支持使用 Unsloth 加速训练，节省显存并减少训练时间。
支持绝大部分主流开源大模型，如 Llama3、Gemma、MiniCPM、InternLM、Baichuan、ChatGLM、Yi、Deepseek、Qwen 等，训练时与官方 chat 模型的 template 对齐。
整理并开源多个指令微调数据集：firefly-train-1.1M、moss-003-sft-data、ultrachat、WizardLM_evol_instruct_V2_143k、school_math_0.25M。
开源 Firefly 系列指令微调模型权重，并在 Open LLM Leaderboard 上取得优秀成绩。
通过配置文件的方式训练不同模型，小白亦可快速上手。
技术规格
| 支持训练类型 | 预训练、指令微调、DPO |
|---|---|
| 训练方式 | 全量参数训练、LoRA、QLoRA |
| 加速技术 | Unsloth（支持 Qwen2、Llama3 等模型） |
| 支持模型 | Qwen2.5、Qwen2、Yi1.5、Phi-3、Llama3、Gemma、MiniCPM、Yi、Deepseek、Orion、Xverse、Mixtral 等 |
| 训练数据 | firefly-train-1.1M、moss-003-sft-data、ultrachat、WizardLM_evol_instruct_V2_143k 等 |
| 开源模型权重 | firefly-mixtral-8x7b、firefly-llama-30b、firefly-llama2-13b 等 |
| 训练长度 | 512 或 1024（视模型而定） |
| 硬件要求 | 支持单卡或多卡 GPU（如 V100、A100） |
项目资源
搜索资源
物料清单 (BOM)
| 物料名称 | 数量 | 参考价格 | 备注 |
|---|---|---|---|
| Python 环境 | 1 | — | 需安装 PyTorch、Transformers 等 |
| CUDA 和 GPU 驱动 | 1 | — | 用于 GPU 训练 |
| GPU（如 V100、A100） | 1-2 张 | — | 推荐至少 16GB 显存 |
| 指令微调数据集 | 1 套 | — | 可从 Huggingface 下载 |
| 基座模型权重 | 1 个 | — | 从 Huggingface 或官方源下载 |
能力画像
⚪ 记忆与知识检索: 3/5
🔵 逻辑推演: 3/5
⚪ 表达与交流: 2/5
⚪ 感知与观察: 2/5
⚪ 数理与计算: 4/5
⚪ 动手与操作: 3/5
⚪ 狂热与坚持: 3/5
⚪ 创造与创新: 4/5
项目图库
所需技能
🔧 **动手能力**：需要配置 GPU 环境、安装依赖、下载模型和数据，具备基本的 Linux 操作和 Python 环境管理能力。
💻 **编程能力**：需要熟悉 Python 和 PyTorch，理解深度学习训练流程，能够修改配置文件或调试训练脚本。
⚡ **电子电路**：不涉及。
适用场景
对主流大模型进行指令微调，提升特定任务性能。
在资源有限的情况下（如单卡 V100）进行高效训练。
研究和实验预训练、DPO 等训练方法。
构建中文或英文对话模型，应用于客服、问答、内容生成等场景。