PEFT
peft
3/5
🧩 软硬件结合
已发布
项目简介
🤗 PEFT: State-of-the-art Parameter-Efficient Fine-Tuning.
PEFT（Parameter-Efficient Fine-Tuning）是Hugging Face团队开发的一个开源库，专注于实现最先进的参数高效微调方法。它的核心思想是：在微调大型预训练模型时，只更新少量额外参数，而非全部模型参数，从而大幅降低计算和存储成本。PEFT与Transformers、Diffusers和Accelerate深度集成，支持便捷的模型训练、推理、多适配器管理以及分布式训练。
标签
项目特点
**参数高效**：仅微调 0.1%-0.2% 的模型参数，大幅降低计算和存储需求
**性能优异**：在多种下游任务上达到与全参数微调相当的性能
**广泛集成**：与 Transformers、Diffusers、Accelerate、TRL 等 HuggingFace 生态深度集成
**支持量化**：可与 QLoRA 等量化方法结合，在消费级硬件上微调大模型
**多方法支持**：提供 LoRA、Prefix Tuning、P-Tuning、IA3 等多种 PEFT 方法
**易于使用**：简单的 API 接口，几行代码即可完成模型适配和训练
技术规格
| 支持模型 | 所有 Transformers 模型（官方支持列表见文档） |
|---|---|
| 支持方法 | LoRA, Prefix Tuning, P-Tuning, IA3, AdaLoRA, QLoRA 等 |
| 训练框架 | PyTorch, Transformers, Accelerate, TRL |
| 硬件要求 | 最低 8GB GPU（量化+LoRA），推荐 16GB+ |
| 存储节省 | 检查点从 GB 级降至 MB 级（如 3B 模型从 11GB 降至 19MB） |
| 许可证 | Apache 2.0 |
项目资源
搜索资源
物料清单 (BOM)
| 物料名称 | 数量 | 参考价格 | 备注 |
|---|---|---|---|
| Python | 1 | — | 3.8+ |
| PyTorch | 1 | — | 1.13+ |
| Transformers | 1 | — | 4.30.0+ |
| Accelerate | 1 | — | 可选，用于分布式训练 |
| Diffusers | 1 | — | 可选，用于扩散模型 |
| TRL | 1 | — | 可选，用于 RLHF 训练 |
能力画像
⚪ 记忆与知识检索: 2/5
🔵 逻辑推演: 3/5
⚪ 表达与交流: 1/5
⚪ 感知与观察: 1/5
⚪ 数理与计算: 3/5
⚪ 动手与操作: 2/5
⚪ 狂热与坚持: 2/5
⚪ 创造与创新: 4/5
项目图库
所需技能
🔧 **动手能力**：能够安装 Python 环境和依赖，运行训练脚本
💻 **编程能力**：Python 编程基础，了解 PyTorch 和 Transformers 库的使用
⚡ **电子电路**：不适用
适用场景
在消费级 GPU 上微调大型语言模型（如 LLaMA、Qwen、GPT）
为多个下游任务保存轻量级适配器，避免存储多个完整模型
结合量化方法在低资源环境下部署大模型
快速实验不同的微调策略（LoRA、Prefix Tuning 等）
在扩散模型（如 Stable Diffusion）中实现个性化生成（DreamBooth）
使用 RLHF 方法训练奖励模型和策略模型