LLaMA Factory

项目简介

Unified Efficient Fine-Tuning of 100+ LLMs & VLMs (ACL 2024)

LLaMA Factory 是一个专注于大语言模型高效微调的开源工具，旨在让开发者以极低的门槛完成从模型训练到部署的全流程。其核心理念是“零代码微调”，用户无需编写复杂的训练脚本，仅通过命令行或直观的 Web UI（基于 Gradio 构建的 LLaMA Board）即可轻松上手。项目支持超过 100 种主流模型，包括 LLaMA、Qwen3、DeepSeek、Gemma、Mistral、Mixtral-MoE 等，并覆盖了从连续预训练、监督微调到奖励建模、PPO、DPO、KTO 等多种训练范式。

项目特点

**模型覆盖广**：支持 LLaMA、Mistral、Gemma、DeepSeek、Qwen 等 100+ 主流 LLM 和 VLM。

**微调方法全**：内置 LoRA、QLoRA、AdaLoRA、IA3、Pi-Tuning、Prefix Tuning 等多种 PEFT 方法。

**训练效率高**：支持 Flash Attention、梯度检查点、混合精度训练、多 GPU 分布式训练，大幅降低显存占用。

**数据格式灵活**：支持 Alpaca、ShareGPT、OpenAI 等多种对话和指令数据格式，无需手动转换。

**推理与部署一体**：训练完成后可直接导出模型权重，并集成 vLLM、TGI 等推理引擎进行快速部署。

**可视化操作**：提供 Web UI 界面，无需写代码即可完成数据集上传、参数配置、训练启动和日志监控。

技术规格

项目资源

hiyouga/LlamaFactory /llamafactory.readthedocs.io aclanthology.org/2024.acl-demos.17 huggingface.co/hiyouga hiyouga/LlamaFactory hiyouga/LlamaFactory

物料清单 (BOM)

物料名称	数量	参考价格	备注
`src/llamafactory/`	1	—	主框架代码
`examples/`	1	—	包含多种模型和方法的配置示例
`data/`	1	—	内置 Alpaca、ShareGPT 等示例数据集
`scripts/`	1	—	训练、推理、导出脚本
`requirements.txt`	1	—	Python 依赖列表
`Dockerfile`	1	—	用于容器化部署
`docs/`	1	—	包含安装、使用、API 文档
`webui/`	1	—	Gradio 界面代码

所需工具

工具	用途	是否必需
Python 3.8+	运行环境	✅ 是
PyTorch 2.0+	深度学习框架	✅ 是
Transformers	模型加载与训练	✅ 是
PEFT	参数高效微调库	✅ 是
Accelerate	分布式训练加速	✅ 是
DeepSpeed	大规模分布式训练优化	▢ 推荐
Flash Attention 2	显存优化	▢ 推荐
vLLM	推理加速引擎	▢ 推荐
Gradio	Web UI 界面	▢ 推荐
CUDA 11.8+	GPU 计算支持	▢ 推荐

能力画像

记忆与知识检索

逻辑推演

表达与交流

感知与观察

数理与计算

动手与操作

狂热与坚持

创造与创新

项目图库

所需技能

Python 编程基础深度学习基本概念（损失函数、优化器、梯度下降）了解 Transformer 架构和 LLM 基本原理熟悉命令行操作（Linux 环境）了解 GPU 训练基本流程（显存、分布式训练概念）有自然语言处理或计算机视觉经验更佳

适用场景

学术研究：快速验证新的微调算法或数据增强策略

企业落地：将通用大模型微调为行业专用模型（客服、法律、医疗等）

个人项目：用少量数据训练自己的聊天机器人或写作助手

教学演示：在课堂上展示大模型微调的全流程

模型评测：对比不同微调方法在同一任务上的效果

多模态应用：微调视觉语言模型用于图像理解、文档分析等