ChatGLM-Tuning
ChatGLM-Tuning
⭐⭐⭐☆☆ (3/5)
🧩 软硬件结合
已发布
项目简介
基于ChatGLM-6B + LoRA的Fintune方案
基于ChatGLM-6B + LoRA的Fintune方案
标签
项目特点
基于 ChatGLM-6B 和 LoRA 进行参数高效微调，降低显存需求
支持 Alpaca 数据集，提供完整的数据预处理脚本
提供 Google Colab 示例，方便快速上手
支持 ChatGLM 和 ChatGLM2 两种模型版本
提供预训练好的 LoRA 权重，可直接用于推理
开源免费，社区活跃
技术规格
| 基础模型 | |
|---|---|
| 微调方法 | |
| 数据集 | |
| 推荐显存 | |
| Python 版本 | |
| CUDA 版本 | |
| LoRA Rank | |
| 最大序列长度 | |
| 训练精度 |
项目资源
物料清单 (BOM)
| 物料名称 | 数量 | 参考价格 | 备注 |
|---|---|---|---|
| GPU (显存 >= 16GB) | 1 | — | 建议 NVIDIA RTX 3090/4090 或 A100 |
| Python >= 3.8 | 1 | — | 编程语言环境 |
| CUDA >= 11.6 | 1 | — | GPU 计算框架 |
| bitsandbytes 0.41.2.post2 | 1 | — | 推荐版本，避免兼容性问题 |
| Alpaca 数据集 | 1 | — | 从 Stanford Alpaca 仓库获取 |
所需工具
| 工具 | 用途 | 是否必需 |
|---|---|---|
| GPU 服务器/云实例 | 运行模型训练和推理 | ✅ 是 |
| Python 开发环境 | 编写和运行代码 | ✅ 是 |
| Git | 克隆项目仓库 | ✅ 是 |
| Google Colab (可选) | 在线运行示例 | ▢ 推荐 |
能力画像
记忆与知识检索
1/5
逻辑推演
3/5
表达与交流
1/5
感知与观察
1/5
数理与计算
4/5
动手与操作
3/5
狂热与坚持
3/5
创造与创新
4/5
项目图库
所需技能
🔧 **动手能力**：需要配置深度学习环境（CUDA、Python包等），处理数据集，运行训练脚本
💻 **编程能力**：需要 Python 编程基础，理解深度学习训练流程，能够阅读和修改训练脚本
⚡ **电子电路**：不涉及
适用场景
对 ChatGLM-6B 模型进行领域特定微调，提升特定任务表现
研究和实验参数高效微调（LoRA）技术
构建基于大语言模型的对话系统或问答系统
学术研究和教育场景中探索大模型微调方法