ChatGLM 高效微调
ChatGLM-Efficient-Tuning
⭐⭐⭐☆☆ (3/5)
🧩 软硬件结合
已发布
项目简介
Fine-tuning ChatGLM-6B with PEFT | 基于 PEFT 的高效 ChatGLM 微调
Fine-tuning ChatGLM-6B with PEFT | 基于 PEFT 的高效 ChatGLM 微调
标签
项目特点
支持多种高效微调方法：LoRA、P-Tuning V2、Freeze 和全量微调
支持监督微调（SFT）、奖励模型训练（RM）和 RLHF
提供 Web UI、API 和 CLI 等多种交互方式
支持 4/8 位量化训练（QLoRA）
支持多数据集联合训练
支持从检查点恢复训练
支持模型权重合并
兼容 ChatGLM2-6B 模型
技术规格
| 基础模型 | |
|---|---|
| 微调方法 | |
| 训练阶段 | |
| 量化支持 | |
| Python 版本 | |
| PyTorch 版本 | |
| 依赖库 | |
| 最低显存 |
项目资源
搜索资源
物料清单 (BOM)
| 物料名称 | 数量 | 参考价格 | 备注 |
|---|---|---|---|
| Python 3.8+ | 1 | — | 运行环境 |
| PyTorch 1.13.1+ | 1 | — | 深度学习框架 |
| CUDA | 1 | — | GPU 加速 |
| GPU (24GB+ 显存) | 1 | — | 推荐 NVIDIA 显卡 |
| ChatGLM-6B 权重 | 1 | — | 需从 Hugging Face 下载 |
所需工具
| 工具 | 用途 | 是否必需 |
|---|---|---|
| GPU (24GB+ 显存) | 模型训练和推理 | ✅ 是 |
| Python 环境 | 运行脚本 | ✅ 是 |
| Git LFS | 下载模型权重 | ✅ 是 |
| Hugging Face 账号 | 访问部分数据集 | ▢ 推荐 |
能力画像
记忆与知识检索
1/5
逻辑推演
3/5
表达与交流
1/5
感知与观察
1/5
数理与计算
4/5
动手与操作
3/5
狂热与坚持
4/5
创造与创新
3/5
所需技能
🔧 **动手能力**：需要配置 Python 环境、安装依赖、下载模型权重，具备基本的命令行操作能力
💻 **编程能力**：需要理解 Python 脚本和命令行参数，能够调整训练配置，了解深度学习基本概念
⚡ **电子电路**：不需要
适用场景
对 ChatGLM-6B 模型进行领域特定微调，如医疗、法律、金融等垂直领域
使用 RLHF 技术优化模型输出，使其更符合人类偏好
在资源受限的环境下通过 LoRA 等高效微调方法进行模型适配
研究和实验不同的微调方法对模型性能的影响