veScale
veScale
机器人电机驱动板
高级
🧩 软硬件结合
已发布
项目简介
字节PyTorch分布式用于超大规模训练LLMs和RLs。
veScale 是一个面向超大规模分布式训练场景的 PyTorch 扩展库，专注于解决大语言模型（LLM）和强化学习（RL）训练中的效率与可扩展性难题。该项目源自内部生产环境的实践积累，此次开源的版本虽仅为完整功能的一小部分，但已包含核心创新组件，旨在为社区提供高性能分布式训练的参考实现。
标签
项目特点
支持超大规模 LLM 和 RL 的分布式训练
提供 RaggedShard DTensor 等高级张量分片技术
基于 PyTorch Distributed 生态，易于集成
支持 eager-mode SPMD 编程范式
开源部分核心功能，促进社区发展
技术规格
| 框架 | |
|---|---|
| 支持模型 | |
| 许可证 | |
| 编程范式 | |
| 论文 |
项目资源
物料清单 (BOM)
| 物料名称 | 数量 | 参考价格 | 备注 |
|---|---|---|---|
| Python | 1 | — | 运行环境 |
| PyTorch | 1 | — | 依赖框架 |
| GPU 集群 | 多节点 | — | 分布式训练所需 |
所需工具
| 工具 | 用途 | 是否必需 |
|---|---|---|
| Python 开发环境 | 运行和调试代码 | ✅ 是 |
| GPU 集群 | 分布式训练 | ✅ 是 |
| PyTorch | 深度学习框架 | ✅ 是 |
能力画像
记忆与知识检索
逻辑推演
表达与交流
感知与观察
数理与计算
动手与操作
狂热与坚持
创造与创新
项目图库
所需技能
🔧 **动手能力**：无需硬件动手能力，但需要配置 GPU 集群环境
💻 **编程能力**：精通 Python，熟悉 PyTorch 分布式编程，理解 SPMD 编程范式
⚡ **电子电路**：不涉及
适用场景
超大规模 LLM 训练（如 GPT 类模型）
大规模强化学习训练
分布式深度学习研究与开发
需要高效张量分片和分布式通信的场景