open-poporo-vla
open-poporo-vla
AI视觉
3/5
🧩 软硬件结合
已发布
项目简介
开源VLA模型，运行于自有硬件，边缘AI，真实机器人数据，无需云端。
开源视觉-语言-动作模型，可在用户实际拥有的硬件上运行。边缘AI、真实机器人数据，无需云端。与硬件使命相同：能干的机器人不应依赖数据中心。开发中...
项目特点
**生物接地架构**：将四种灵长类皮层神经生物学机制直接映射到计算框架，每个架构决策都有神经科学实证基础
**smolVLA 骨干网络**：约450M参数，在消费级CPU上实现50Hz+推理速率，LIBERO基准测试达80.3%
**技能卡带系统**：每个技能仅需约20MB存储，支持热插拔和组合，无需重新加载完整模型
**主动抑制机制**：通过DGMoE实现硬二进制专家选择，模拟大脑主动抑制不相关神经通路
**共享子空间学习**：基于LoRAC的QR分解，确保技能子空间正交性，防止灾难性遗忘
**任务信念预测**：V-JEPA 2提供预测性世界模型，在动作执行前预调下游运动表征
**小脑式运动修正**：Residual RL/PLD提供精细运动校正，实现接触丰富的精确操作
**边缘AI友好**：设计在消费者级硬件上运行，无需云端依赖
技术规格
| 骨干网络 | smolVLA |
|---|---|
| 参数量 | ~450 M |
| 视觉令牌 | 64 (PixelShuffle池化) |
| Transformer加速 | L/2层跳过 |
| 动作头 | Flow Matching [11] |
| 目标推理速率 | 50 Hz+ (消费级CPU) |
| LIBERO基准 | 80.3% |
| 技能卡带大小 | ~20 MB/个 |
| 完整模型大小 | ~900 MB |
| 测试平台 | 双臂SO-ARM101 |
| 许可证 | Apache 2.0 |
项目资源
搜索资源
物料清单 (BOM)
| 物料名称 | 数量 | 参考价格 | 备注 |
|---|---|---|---|
| SO-ARM101 双臂机器人 | 1 | — | 主要测试平台，需自行组装 |
| 消费级CPU/GPU计算机 | 1 | — | 支持50Hz+推理 |
| 摄像头 | 2+ | — | 用于视觉输入 |
| 伺服电机 | 12+ | — | 双臂各6自由度 |
| 3D打印外壳和连接件 | 1套 | — | 机器人结构 |
| 机器人电源系统 | 1 | — | 根据电机规格选择 |
能力画像
⚪ 记忆与知识检索: 2/5
🔵 逻辑推演: 4/5
⚪ 表达与交流: 1/5
⚪ 感知与观察: 4/5
⚪ 数理与计算: 5/5
⚪ 动手与操作: 4/5
⚪ 狂热与坚持: 5/5
⚪ 创造与创新: 5/5
项目图库
所需技能
🔧 **动手能力**：需要组装和调试双臂机器人硬件（SO-ARM101），包括3D打印结构件、焊接电路、连接伺服电机和传感器
💻 **编程能力**：需要Python编程经验，熟悉PyTorch深度学习框架，理解Transformer架构、MoE、LoRA等概念，能够训练和微调VLA模型
⚡ **电子电路**：需要基本的电路知识，能够连接传感器和执行器，调试机器人控制系统
适用场景
**微工厂自动化**：在小型装配环境中实现双臂协作操作，如PCB插入、零件组装等精密任务
**机器人技能学习研究**：作为研究平台，探索组合式持续学习、灾难性遗忘防止、生物启发式机器人控制
**边缘AI机器人**：在消费级硬件上运行的高级机器人控制，无需云端依赖，适合隐私敏感或网络受限场景
**神经科学验证**：将灵长类皮层机制的计算模型在真实机器人上验证，桥接神经科学与机器人学
**教育研究**：作为高级机器人学和人工智能交叉领域的教学和研究平台