LLaMA Factory
LlamaFactory
3/5
🧩 软硬件结合
已发布
项目简介
Unified Efficient Fine-Tuning of 100+ LLMs & VLMs (ACL 2024)
LLaMA Factory 是一个专注于大语言模型高效微调的开源工具，旨在让开发者以极低的门槛完成从模型训练到部署的全流程。其核心理念是“零代码微调”，用户无需编写复杂的训练脚本，仅通过命令行或直观的 Web UI（基于 Gradio 构建的 LLaMA Board）即可轻松上手。项目支持超过 100 种主流模型，包括 LLaMA、Qwen3、DeepSeek、Gemma、Mistral、Mixtral-MoE 等，并覆盖了从连续预训练、监督微调到奖励建模、PPO、DPO、KTO 等多种训练范式。
标签
项目特点
**模型覆盖广**：支持 LLaMA、Mistral、Gemma、DeepSeek、Qwen 等 100+ 主流 LLM 和 VLM。
**微调方法全**：内置 LoRA、QLoRA、AdaLoRA、IA3、Pi-Tuning、Prefix Tuning 等多种 PEFT 方法。
**训练效率高**：支持 Flash Attention、梯度检查点、混合精度训练、多 GPU 分布式训练，大幅降低显存占用。
**数据格式灵活**：支持 Alpaca、ShareGPT、OpenAI 等多种对话和指令数据格式，无需手动转换。
**推理与部署一体**：训练完成后可直接导出模型权重，并集成 vLLM、TGI 等推理引擎进行快速部署。
**可视化操作**：提供 Web UI 界面，无需写代码即可完成数据集上传、参数配置、训练启动和日志监控。
技术规格
| 100+（LLM + VLM） | |
| LoRA, QLoRA, AdaLoRA, IA3, Pi-Tuning, Prefix Tuning, Full Fine-Tuning | |
| FP32, FP16, BF16, INT4 (QLoRA), INT8 (QLoRA) | |
| DeepSpeed ZeRO-2/3, FSDP, DDP | |
| Flash Attention 2, Gradient Checkpointing, Offload | |
| Alpaca, ShareGPT, OpenAI, Raw Text | |
| vLLM, Text Generation Inference (TGI) | |
| 单卡/多卡 GPU（NVIDIA A100, V100, RTX 3090 等） | |
| PyTorch, Transformers, PEFT, Accelerate, DeepSpeed |
项目资源
搜索资源
物料清单 (BOM)
| 物料名称 | 数量 | 参考价格 | 备注 |
|---|---|---|---|
| `src/llamafactory/` | 1 | — | 主框架代码 |
| `examples/` | 1 | — | 包含多种模型和方法的配置示例 |
| `data/` | 1 | — | 内置 Alpaca、ShareGPT 等示例数据集 |
| `scripts/` | 1 | — | 训练、推理、导出脚本 |
| `requirements.txt` | 1 | — | Python 依赖列表 |
| `Dockerfile` | 1 | — | 用于容器化部署 |
| `docs/` | 1 | — | 包含安装、使用、API 文档 |
| `webui/` | 1 | — | Gradio 界面代码 |
能力画像
**记忆与知识检索**：3/5 — 依赖预训练模型的知识，微调后可增强特定领域记忆，但本身不提供检索机制。
**动手与操作**：4/5 — 提供 Web UI 和命令行两种操作方式，上手简单，但高级调参仍需手动。
**编程与算法**：5/5 — 内置多种先进微调算法，支持自定义模型和数据，适合算法研究与开发。
**设计与建模**：3/5 — 不涉及模型架构设计，专注于微调流程的工程化封装。
**实验与调试**：4/5 — 支持实验配置管理、日志记录、可视化训练曲线，方便快速迭代。
**协作与分享**：4/5 — 开源社区活跃，支持模型权重导出与分享，可集成到团队工作流。
**学习与研究**：5/5 — 论文级实现，附带详细文档和示例，是学习 PEFT 和 LLM 微调的绝佳资源。
**系统集成**：4/5 — 可对接 Hugging Face 生态、推理引擎、云平台，易于嵌入现有系统。
项目图库
所需技能
Python 编程基础
深度学习基本概念（损失函数、优化器、梯度下降）
了解 Transformer 架构和 LLM 基本原理
熟悉命令行操作（Linux 环境）
了解 GPU 训练基本流程（显存、分布式训练概念）
有自然语言处理或计算机视觉经验更佳
适用场景
学术研究：快速验证新的微调算法或数据增强策略
企业落地：将通用大模型微调为行业专用模型（客服、法律、医疗等）
个人项目：用少量数据训练自己的聊天机器人或写作助手
教学演示：在课堂上展示大模型微调的全流程
模型评测：对比不同微调方法在同一任务上的效果
多模态应用：微调视觉语言模型用于图像理解、文档分析等