Firefly
Firefly
⭐⭐⭐☆☆ (3/5)
🧩 软硬件结合
已发布
项目简介
Firefly: 大模型训练工具，支持训练Qwen2.5、Qwen2、Yi1.5、Phi-3、Llama3、Gemma、MiniCPM、Yi、Deepseek、Orion、Xverse、Mixtral-8x7B、Zephyr、Mistral
Firefly: 大模型训练工具，支持训练Qwen2.5、Qwen2、Yi1.5、Phi-3、Llama3、Gemma、MiniCPM、Yi、Deepseek、Orion、Xverse、Mixtral
标签
项目特点
支持预训练、指令微调、DPO，以及全量参数训练、LoRA、QLoRA 高效训练。
支持使用 Unsloth 加速训练，节省显存并减少训练时间。
支持绝大部分主流开源大模型，如 Llama3、Gemma、MiniCPM、InternLM、Baichuan、ChatGLM、Yi、Deepseek、Qwen 等，训练时与官方 chat 模型的 template 对齐。
整理并开源多个指令微调数据集：firefly-train-1.1M、moss-003-sft-data、ultrachat、WizardLM_evol_instruct_V2_143k、school_math_0.25M。
开源 Firefly 系列指令微调模型权重，并在 Open LLM Leaderboard 上取得优秀成绩。
通过配置文件的方式训练不同模型，小白亦可快速上手。
技术规格
| 支持训练类型 | |
|---|---|
| 训练方式 | |
| 加速技术 | |
| 支持模型 | |
| 训练数据 | |
| 开源模型权重 | |
| 训练长度 | |
| 硬件要求 |
项目资源
搜索资源
物料清单 (BOM)
| 物料名称 | 数量 | 参考价格 | 备注 |
|---|---|---|---|
| Python 环境 | 1 | — | 需安装 PyTorch、Transformers 等 |
| CUDA 和 GPU 驱动 | 1 | — | 用于 GPU 训练 |
| GPU（如 V100、A100） | 1-2 张 | — | 推荐至少 16GB 显存 |
| 指令微调数据集 | 1 套 | — | 可从 Huggingface 下载 |
| 基座模型权重 | 1 个 | — | 从 Huggingface 或官方源下载 |
所需工具
| 工具 | 用途 | 是否必需 |
|---|---|---|
| GPU（如 V100、A100） | 训练大模型 | ✅ 是 |
| Python 环境 | 运行训练脚本 | ✅ 是 |
| PyTorch | 深度学习框架 | ✅ 是 |
| Transformers | 模型加载与处理 | ✅ 是 |
| Unsloth（可选） | 加速训练并节省显存 | ▢ 推荐 |
能力画像
记忆与知识检索
3/5
逻辑推演
3/5
表达与交流
2/5
感知与观察
2/5
数理与计算
4/5
动手与操作
3/5
狂热与坚持
3/5
创造与创新
4/5
项目图库
所需技能
🔧 **动手能力**：需要配置 GPU 环境、安装依赖、下载模型和数据，具备基本的 Linux 操作和 Python 环境管理能力。
💻 **编程能力**：需要熟悉 Python 和 PyTorch，理解深度学习训练流程，能够修改配置文件或调试训练脚本。
⚡ **电子电路**：不涉及。
适用场景
对主流大模型进行指令微调，提升特定任务性能。
在资源有限的情况下（如单卡 V100）进行高效训练。
研究和实验预训练、DPO 等训练方法。
构建中文或英文对话模型，应用于客服、问答、内容生成等场景。