RunanywhereAI/RCLI

Talk to your Mac, query your docs, no cloud required. On-device voice AI + RAG

RCLI 是一款专为 macOS 设计的本地语音 AI 工具，完全运行在 Apple Silicon 设备上，无需联网、无需云服务、无需任何 API 密钥。它集成了完整的语音交互流水线，包括语音活动检测（VAD）、语音转文字（STT）、大语言模型（LLM）、文字转语音（TTS）以及视觉语言模型（VLM），所有推理任务均在本地完成，端到端延迟低于 200 毫秒。RCLI 的核心技术是 RunAnywhere 自研的 MetalRT GPU 推理引擎，专为 Apple Silicon 优化，在 M3 及以上芯片上性能尤为突出，解码速度远超 llama.cpp 和 MLX 等方案。用户可以通过语音直接控制 macOS 的 40 多种操作，例如打开应用、调节音量、播放音乐等；也可以对本地文档进行检索增强生成（RAG），实现毫秒级的混合检索问答；还能通过摄像头或屏幕截图进行实时视觉分析。RCLI 提供了简洁的终端交互界面（TUI），支持连续语音模式、一键命令和模型热切换。安装方式简单，支持 Homebrew 或一键脚本，首次使用只需运行 `rcli setup` 下载约 1GB 的模型文件即可。该项目解决了传统语音助手依赖云端、延迟高、隐私风险大的问题，特别适合追求低延迟、高隐私、离线可用的 macOS 用户，无论是开发者、研究人员，还是希望用语音提升日常效率的普通用户，都能从中受益。