OpenEye

项目简介

OpenEye是开源AI框架，支持受限边缘硬件离线运行。

OpenEye是一个开源AI框架，旨在在受限的边缘硬件上实现完全原生、离线的AI执行。虽然大多数现代AI系统依赖基于云的推理和大规模模型，但OpenEye引入了一种去中心化架构，允许AI直接在设备上运行。

项目特点

**离线优先与隐私保护**：所有 AI 推理均在本地设备上完成，无需连接云端，确保用户数据隐私。

**创新的 Omem 记忆架构**：通过原子编码、多视图索引、自适应检索和滚动摘要等组件，让 1B-3B 参数的小模型也能进行复杂推理。

**模块化插件系统**：支持通过插件扩展运行时适配器、嵌入提供者、记忆引擎、RAG 检索器、CLI 命令和图像处理器。

**运行时适配器模式**：通过统一的 `Adapter` 接口，可在原生 CGo 后端和 HTTP 后端之间灵活切换。

**针对边缘设备优化**：提供针对 Raspberry Pi 5 的专用构建目标，启用 ARM 点积、FP16 向量路径和 KleidiAI 微内核优化。

**高性能记忆系统**：P50 检索延迟约 71ms，P95 约 99ms，热缓存可实现 <5ms 的重复查询响应。

技术规格

编程语言
核心依赖
构建工具
支持硬件
模型格式
后端模式
记忆系统
检索方式
检索延迟
热缓存延迟

项目资源

theawakener0/OpenEye ggerganov/llama.cpp plugins/index.md plugins/architecture.md plugins/runtime-adapters.md plugins/embedding-providers.md plugins/memory-engines.md plugins/custom-retrievers.md plugins/cli-extensions.md plugins/image-processors.md plugins/best-practices.md plugins/troubleshooting.md plugins/distribution.md plugins/manifest.md examples/hello-world-adapter.md examples/custom-http-llm.md examples/custom-embedding.md examples/simple-memory.md examples/secure-http-backend.md

物料清单 (BOM)

物料名称	数量	参考价格	备注
Raspberry Pi 5	1	—	推荐开发板
Orange Pi	1	—	可选替代
智能眼镜	1	—	可选目标设备
Go 1.24+	1	—	开发环境
CMake 3.16+	1	—	构建工具
C/C++ 编译器	1	—	用于原生后端构建
GGUF 模型文件 (Q4_K_M)	1	—	推荐量化模型

所需工具

工具	用途	是否必需
Go 编译器	编译 OpenEye 项目	✅ 是
CMake	构建 llama.cpp	▢ 推荐
C/C++ 编译器	编译 CGo 绑定和 llama.cpp	▢ 推荐
Make	执行构建命令	✅ 是
Git	克隆仓库和子模块	✅ 是

能力画像

记忆与知识检索

逻辑推演

表达与交流

感知与观察

数理与计算

动手与操作

狂热与坚持

创造与创新

所需技能

🔧 **动手能力**：需要能够搭建和配置 Raspberry Pi 等边缘硬件设备，并处理可能的硬件兼容性问题。 💻 **编程能力**：需要精通 Go 语言，理解 CGo 绑定机制，以及插件开发模式。了解 Makefile 构建系统。 ⚡ **电子电路**：基本了解，主要用于连接和配置边缘硬件设备。

适用场景

**智能眼镜**：在智能眼镜上运行本地 AI 助手，实现实时信息检索和对话，无需联网。

**边缘 AI 推理**：在 Raspberry Pi 等低功耗设备上部署 SLM，用于家庭自动化、数据分析和本地智能应用。

**隐私敏感应用**：需要处理敏感数据且不能上传到云端的场景，如医疗、金融和法律领域的本地 AI 助手。

**离线环境**：在网络不可用或不稳定的环境中（如野外考察、偏远地区）提供 AI 能力。

**研究与实验**：用于研究小型语言模型的记忆机制、检索增强生成（RAG）和边缘 AI 优化。