Cactus
cactus
机器人
3/5
🧩 软硬件结合
已发布
项目简介
Low-latency AI engine for mobile devices & wearables
Cactus 是一个专为移动设备和可穿戴设备设计的高性能 AI 推理引擎，致力于在资源受限的硬件上实现低延迟、低内存占用的多模态 AI 能力。它的核心优势在于极致的效率：通过零拷贝内存映射技术，Cactus 的内存占用仅为同类引擎的十分之一，同时利用 ARM CPU 的 SIMD 指令集和 NPU 加速的预填充机制，实现了业界领先的推理速度。
标签
项目特点
**极速推理**：在 ARM CPU 上实现最快的推理速度，通过自定义注意力机制、KV 缓存量化和分块预填充等技术优化。
**低内存占用**：零拷贝内存映射技术使得内存使用量比其他引擎低 10 倍。
**多模态支持**：一个 SDK 即可支持语音、视觉和语言模型，包括聊天、视觉、语音转文字、RAG、工具调用和云端切换等功能。
**云端回退**：当本地模型无法满足需求时，自动将请求路由到云端模型，确保服务不中断。
**能效优化**：利用 NPU 加速预填充过程，降低功耗，延长移动设备电池续航。
**丰富的 SDK 支持**：提供 C、C++、Python、Swift、Kotlin、Flutter、Rust 和 React Native 等多种语言的 SDK，方便不同平台开发者使用。
技术规格
| 推理引擎 | Cactus Engine (C API) |
|---|---|
| 计算图 | Cactus Graph (C++ API) |
| 内核优化 | ARM SIMD 内核 (Apple, Snapdragon, Exynos 等) |
| 量化精度 | INT4, INT8, FP16 |
| 支持模型 | Gemma, Qwen, LiquidAI, Parakeet, Whisper 等 |
| 内存映射 | 零拷贝内存映射 |
| NPU 支持 | Apple NPU (已支持), Qualcomm/Google/Mediatek/Exynos NPU (即将支持) |
| 操作系统 | macOS, iOS, iPadOS, tvOS, watchOS, Android, Linux |
| API 兼容 | OpenAI 兼容 API |
项目资源
搜索资源
物料清单 (BOM)
| 物料名称 | 数量 | 参考价格 | 备注 |
|---|---|---|---|
| Cactus 引擎 | 1 | — | 核心推理引擎 |
| Cactus Graph | 1 | — | 计算图库 |
| 模型权重 | 1 | — | 从 HuggingFace 下载 |
| ARM 设备 | 1 | — | 如 iPhone, Android 手机, Mac, Raspberry Pi 等 |
能力画像
⚪ 记忆与知识检索: 3/5
🔵 逻辑推演: 3/5
⚪ 表达与交流: 2/5
⚪ 感知与观察: 2/5
⚪ 数理与计算: 5/5
⚪ 动手与操作: 3/5
⚪ 狂热与坚持: 4/5
⚪ 创造与创新: 4/5
项目图库
所需技能
🔧 **动手能力**：需要能够配置开发环境、编译项目、下载模型权重并运行示例代码。
💻 **编程能力**：需要掌握 C/C++ 或 Python 等编程语言，理解 API 调用和 SDK 集成。
⚡ **电子电路**：不需要硬件电路知识，但需要了解移动设备或嵌入式设备的部署环境。
适用场景
**移动端 AI 助手**：在手机或平板上运行本地 AI 助手，实现离线聊天、语音识别和图像理解。
**可穿戴设备 AI**：在智能手表、AR 眼镜等低功耗设备上部署 AI 模型，实现实时语音交互和健康监测。
**边缘计算**：在 Raspberry Pi 等边缘设备上运行 AI 推理，用于智能家居、工业监控等场景。
**嵌入式系统**：在资源受限的嵌入式设备上集成 AI 能力，如智能音箱、车载系统等。