SWIFT（可扩展轻量级微调基础设施） ms-swift

3/5 🧩 软硬件结合 已发布
modelscope 5764 Stars 未知 BOM 完整度: 0/5 教程完整度: 0/5
查看源码
SWIFT（可扩展轻量级微调基础设施）

项目简介

Use PEFT or Full-parameter to CPT/SFT/DPO/GRPO 600+ LLMs (Qwen3.6, DeepSeek-V4, GLM-5.1, InternLM3, Llama4, ...) and 300

ms-swift 是 ModelScope 社区推出的一款面向大模型与多模态大模型的轻量级微调与部署框架。其全称“Scalable lightWeight Infrastructure for Fine-Tuning”精准概括了它的核心定位：为开发者提供一套可扩展、轻量化的全流程工具链。目前，该框架已支持超过 600 个纯文本大模型和 400 多个多模态大模型，覆盖了从 Qwen3、InternLM3、DeepSeek-R1 到 Llava、InternVL3.5、GLM4.5-V 等主流模型，几乎做到了热门模型发布即支持。

标签

deepseek-r1 embedding grpo internvl liger

项目特点

**模型类型丰富**：支持600+纯文本大模型和400+多模态大模型，从训练到部署全流程，热门模型Day-0支持。
**数据集类型多样**：内置150+数据集，涵盖预训练、微调、人类对齐、多模态等任务，支持自定义数据集一键训练。
**硬件支持广泛**：支持A10/A100/H100、RTX系列、T4/V100、CPU、MPS以及国产昇腾NPU等硬件。
**轻量级训练**：支持LoRA、QLoRA、DoRA、LoRA+、LLaMAPro、LongLoRA、LoRA-GA、ReFT、RS-LoRA、Adapter、LISA等多种轻量级微调方法。
**量化训练**：支持在BNB、AWQ、GPTQ、AQLM、HQQ、EETQ量化模型上训练，7B模型仅需9GB训练资源。
**内存优化**：集成GaLore、Q-Galore、UnSloth、Liger-Kernel、Flash-Attention 2/3以及Ulysses和Ring-Attention序列并行技术，降低长文本训练内存消耗。
**分布式训练**：支持DDP、device_map模型并行、DeepSpeed ZeRO2/ZeRO3、FSDP/FSDP2和Megatron分布式训练技术。
**多模态训练**：支持多模态打包技术，训练速度提升100%+，支持文本、图像、视频和音频混合模态数据训练，独立控制vit/aligner/llm。
**强化学习**：内置丰富的GRPO族算法，包括GRPO、DAPO、GSPO、SAPO、CISPO、CHORD、RLOO、Reinforce++等，支持同步和异步vLLM引擎推理加速。
**全流程能力**：覆盖训练、推理、评估、量化和部署的完整工作流。
**推理加速**：支持Transformers、vLLM、SGLang和LmDeploy推理加速引擎，提供OpenAI接口。
**模型评估**：使用EvalScope作为评估后端，支持100+评估数据集。
**模型量化**：支持AWQ、GPTQ、FP8和BNB量化导出，导出的模型支持vLLM/SGLang/LmDeploy推理加速。

技术规格

支持模型数量 600+纯文本大模型，400+多模态大模型
支持数据集 150+内置数据集
轻量级微调方法 LoRA, QLoRA, DoRA, LoRA+, LLaMAPro, LongLoRA, LoRA-GA, ReFT, RS-LoRA, Adapter, LISA等
强化学习算法 GRPO, DAPO, GSPO, SAPO, CISPO, CHORD, RLOO, Reinforce++等
分布式训练 DDP, DeepSpeed ZeRO2/ZeRO3, FSDP/FSDP2, Megatron (TP/PP/SP/CP/ETP/EP/VPP)
推理加速引擎 Transformers, vLLM, SGLang, LmDeploy
量化技术 GPTQ, AWQ, BNB, FP8
硬件支持 A10/A100/H100, RTX系列, T4/V100, CPU, MPS, 昇腾NPU
Python版本 3.12
PyTorch版本 ≥2.0
ModelScope版本 ≥1.23
许可证 Apache-2.0

项目资源

GitHub仓库 英文文档 中文文档 论文 ModelScope社区 Discord群组 PyPI包

物料清单 (BOM)

物料名称 数量 参考价格 备注
Python 3.12 1 — 运行环境
PyTorch ≥2.0 1 — 深度学习框架
CUDA/CUDNN 1 — GPU加速（可选）
GPU (A10/A100/H100/RTX系列等) 1+ — 推荐使用GPU训练

能力画像

⚪ 记忆与知识检索: 1/5
🔵 逻辑推演: 4/5
⚪ 表达与交流: 1/5
⚪ 感知与观察: 1/5
🔵 数理与计算: 5/5
🔵 动手与操作: 3/5
🔵 狂热与坚持: 4/5
🔵 创造与创新: 5/5

所需技能

🔧 **动手能力**：需要能够配置Python环境和GPU驱动，安装依赖包，运行训练脚本。熟悉命令行操作和配置文件编辑。 💻 **编程能力**：需要Python编程基础，理解深度学习框架（PyTorch）的基本概念。能够阅读和修改训练脚本，理解模型架构和训练流程。 ⚡ **电子电路**：不涉及硬件电路知识。

适用场景

**大模型微调**：对开源大模型（如Qwen、DeepSeek、GLM等）进行指令微调、偏好对齐或领域适应。
**多模态模型训练**：对视觉-语言模型（如Qwen-VL、InternVL等）进行多模态数据训练。
**强化学习对齐**：使用GRPO、DPO等算法对模型进行人类偏好对齐，提升模型输出质量。
**模型量化与部署**：将训练好的模型量化并部署到生产环境，支持vLLM/SGLang等推理加速引擎。
**学术研究**：研究新的微调方法、强化学习算法或分布式训练技术。
**企业级应用**：在A10/A100/H100等GPU集群上进行大规模分布式训练，构建定制化AI模型。