PEFT
peft
⭐⭐⭐☆☆ (3/5)
🧩 软硬件结合
已发布
项目简介
🤗 PEFT: State-of-the-art Parameter-Efficient Fine-Tuning.
PEFT（Parameter-Efficient Fine-Tuning）是Hugging Face团队开发的一个开源库，专注于实现最先进的参数高效微调方法。它的核心思想是：在微调大型预训练模型时，只更新少量额外参数，而非全部模型参数，从而大幅降低计算和存储成本。PEFT与Transformers、Diffusers和Accelerate深度集成，支持便捷的模型训练、推理、多适配器管理以及分布式训练。
标签
项目特点
**参数高效**：仅微调 0.1%-0.2% 的模型参数，大幅降低计算和存储需求
**性能优异**：在多种下游任务上达到与全参数微调相当的性能
**广泛集成**：与 Transformers、Diffusers、Accelerate、TRL 等 HuggingFace 生态深度集成
**支持量化**：可与 QLoRA 等量化方法结合，在消费级硬件上微调大模型
**多方法支持**：提供 LoRA、Prefix Tuning、P-Tuning、IA3 等多种 PEFT 方法
**易于使用**：简单的 API 接口，几行代码即可完成模型适配和训练
技术规格
| 支持模型 | |
|---|---|
| 支持方法 | |
| 训练框架 | |
| 硬件要求 | |
| 存储节省 | |
| 许可证 |
项目资源
物料清单 (BOM)
| 物料名称 | 数量 | 参考价格 | 备注 |
|---|---|---|---|
| Python | 1 | — | 3.8+ |
| PyTorch | 1 | — | 1.13+ |
| Transformers | 1 | — | 4.30.0+ |
| Accelerate | 1 | — | 可选，用于分布式训练 |
| Diffusers | 1 | — | 可选，用于扩散模型 |
| TRL | 1 | — | 可选，用于 RLHF 训练 |
所需工具
| 工具 | 用途 | 是否必需 |
|---|---|---|
| Python 环境 | 运行 PEFT 代码 | ✅ 是 |
| GPU（推荐） | 加速模型训练和推理 | ✅ 是 |
| pip/conda | 安装依赖 | ✅ 是 |
| Jupyter Notebook | 交互式开发和实验 | ▢ 推荐 |
能力画像
记忆与知识检索
2/5
逻辑推演
3/5
表达与交流
1/5
感知与观察
1/5
数理与计算
3/5
动手与操作
2/5
狂热与坚持
2/5
创造与创新
4/5
项目图库
所需技能
🔧 **动手能力**：能够安装 Python 环境和依赖，运行训练脚本
💻 **编程能力**：Python 编程基础，了解 PyTorch 和 Transformers 库的使用
⚡ **电子电路**：不适用
适用场景
在消费级 GPU 上微调大型语言模型（如 LLaMA、Qwen、GPT）
为多个下游任务保存轻量级适配器，避免存储多个完整模型
结合量化方法在低资源环境下部署大模型
快速实验不同的微调策略（LoRA、Prefix Tuning 等）
在扩散模型（如 Stable Diffusion）中实现个性化生成（DreamBooth）
使用 RLHF 方法训练奖励模型和策略模型