ChatGLM 高效微调
ChatGLM-Efficient-Tuning
3/5
🧩 软硬件结合
已发布
项目简介
Fine-tuning ChatGLM-6B with PEFT | 基于 PEFT 的高效 ChatGLM 微调
Fine-tuning ChatGLM-6B with PEFT | 基于 PEFT 的高效 ChatGLM 微调
标签
项目特点
支持多种高效微调方法：LoRA、P-Tuning V2、Freeze 和全量微调
支持监督微调（SFT）、奖励模型训练（RM）和 RLHF
提供 Web UI、API 和 CLI 等多种交互方式
支持 4/8 位量化训练（QLoRA）
支持多数据集联合训练
支持从检查点恢复训练
支持模型权重合并
兼容 ChatGLM2-6B 模型
技术规格
| 基础模型 | ChatGLM-6B / ChatGLM2-6B |
|---|---|
| 微调方法 | LoRA, P-Tuning V2, Freeze, Full Tuning |
| 训练阶段 | SFT, RM, PPO (RLHF) |
| 量化支持 | 4-bit, 8-bit (QLoRA) |
| Python 版本 | 3.8+ |
| PyTorch 版本 | 1.13.1+ |
| 依赖库 | Transformers, Datasets, Accelerate, PEFT, TRL |
| 最低显存 | 24GB (LoRA, batch_size=8, FP16) |
项目资源
搜索资源
物料清单 (BOM)
| 物料名称 | 数量 | 参考价格 | 备注 |
|---|---|---|---|
| Python 3.8+ | 1 | — | 运行环境 |
| PyTorch 1.13.1+ | 1 | — | 深度学习框架 |
| CUDA | 1 | — | GPU 加速 |
| GPU (24GB+ 显存) | 1 | — | 推荐 NVIDIA 显卡 |
| ChatGLM-6B 权重 | 1 | — | 需从 Hugging Face 下载 |
能力画像
⚪ 记忆与知识检索: 1/5
🔵 逻辑推演: 3/5
⚪ 表达与交流: 1/5
⚪ 感知与观察: 1/5
🔵 数理与计算: 4/5
🔵 动手与操作: 3/5
🔵 狂热与坚持: 4/5
🔵 创造与创新: 3/5
所需技能
🔧 **动手能力**：需要配置 Python 环境、安装依赖、下载模型权重，具备基本的命令行操作能力
💻 **编程能力**：需要理解 Python 脚本和命令行参数，能够调整训练配置，了解深度学习基本概念
⚡ **电子电路**：不需要
适用场景
对 ChatGLM-6B 模型进行领域特定微调，如医疗、法律、金融等垂直领域
使用 RLHF 技术优化模型输出，使其更符合人类偏好
在资源受限的环境下通过 LoRA 等高效微调方法进行模型适配
研究和实验不同的微调方法对模型性能的影响