ChatGLM-Tuning
ChatGLM-Tuning
3/5
🧩 软硬件结合
已发布
项目简介
基于ChatGLM-6B + LoRA的Fintune方案
基于ChatGLM-6B + LoRA的Fintune方案
标签
项目特点
基于 ChatGLM-6B 和 LoRA 进行参数高效微调，降低显存需求
支持 Alpaca 数据集，提供完整的数据预处理脚本
提供 Google Colab 示例，方便快速上手
支持 ChatGLM 和 ChatGLM2 两种模型版本
提供预训练好的 LoRA 权重，可直接用于推理
开源免费，社区活跃
技术规格
| 基础模型 | ChatGLM-6B / ChatGLM2 |
|---|---|
| 微调方法 | LoRA (Low-Rank Adaptation) |
| 数据集 | Alpaca (Stanford Alpaca) |
| 推荐显存 | >= 16GB (建议 24GB 以上) |
| Python 版本 | >= 3.8 |
| CUDA 版本 | >= 11.6 |
| LoRA Rank | 8 (可配置) |
| 最大序列长度 | 200 (可配置) |
| 训练精度 | FP16 |
项目资源
搜索资源
物料清单 (BOM)
| 物料名称 | 数量 | 参考价格 | 备注 |
|---|---|---|---|
| GPU (显存 >= 16GB) | 1 | — | 建议 NVIDIA RTX 3090/4090 或 A100 |
| Python >= 3.8 | 1 | — | 编程语言环境 |
| CUDA >= 11.6 | 1 | — | GPU 计算框架 |
| bitsandbytes 0.41.2.post2 | 1 | — | 推荐版本，避免兼容性问题 |
| Alpaca 数据集 | 1 | — | 从 Stanford Alpaca 仓库获取 |
能力画像
⚪ 记忆与知识检索: 1/5
🔵 逻辑推演: 3/5
⚪ 表达与交流: 1/5
⚪ 感知与观察: 1/5
🔵 数理与计算: 4/5
🔵 动手与操作: 3/5
🔵 狂热与坚持: 3/5
🔵 创造与创新: 4/5
项目图库
所需技能
🔧 **动手能力**：需要配置深度学习环境（CUDA、Python包等），处理数据集，运行训练脚本
💻 **编程能力**：需要 Python 编程基础，理解深度学习训练流程，能够阅读和修改训练脚本
⚡ **电子电路**：不涉及
适用场景
对 ChatGLM-6B 模型进行领域特定微调，提升特定任务表现
研究和实验参数高效微调（LoRA）技术
构建基于大语言模型的对话系统或问答系统
学术研究和教育场景中探索大模型微调方法