LiteRT-LM
LiteRT-LM
3/5
🧩 软硬件结合
已发布
项目简介
LiteRT-LM is Google's production-ready, high-performance, open-source inference framework for deploying Large Language M
LiteRT-LM 是 Google 推出的生产级、高性能、开源推理框架，专为在边缘设备上部署大型语言模型（LLM）而设计。它解决了将大模型从云端迁移到本地设备时面临的性能、功耗和兼容性挑战，让开发者能够在手机、平板、可穿戴设备、物联网终端甚至浏览器中直接运行复杂的生成式 AI 应用。
标签
项目特点
📱 **跨平台支持**：Android、iOS、Web、桌面和 IoT（如 Raspberry Pi）
🚀 **硬件加速**：通过 GPU 和 NPU 加速器实现峰值性能
👁️ **多模态**：支持视觉和音频输入
🔧 **工具使用**：支持函数调用，适用于智能体工作流
📚 **广泛的模型支持**：Gemma、Llama、Phi-4、Qwen 等
🐍 **多语言 API**：提供 Python、Kotlin、Swift、JavaScript、Flutter 和 C++ 接口
🔥 **生产就绪**：已用于 Google 的 Chrome、Chromebook Plus、Pixel Watch 等产品
技术规格
| 框架类型 | 推理框架 |
|---|---|
| 目标平台 | Android, iOS, Web, Desktop, IoT (Raspberry Pi) |
| 硬件加速 | GPU, NPU |
| 多模态支持 | 视觉和音频输入 |
| 工具调用 | 支持函数调用 |
| 支持的模型 | Gemma, Llama, Phi-4, Qwen 等 |
| 语言 API | Python, Kotlin, Swift, JavaScript, Flutter, C++ |
| 最新版本 | v0.12.0 |
| 许可证 | Apache-2.0 |
项目资源
搜索资源
物料清单 (BOM)
| 物料名称 | 数量 | 参考价格 | 备注 |
|---|---|---|---|
| Python 3.8+ | 1 | — | 运行 CLI 和 Python API |
| uv (Python 包管理器) | 1 | — | 快速安装 CLI |
| Android Studio | 1 | — | 开发 Android 应用 |
| Xcode | 1 | — | 开发 iOS/macOS 应用 |
| 支持 GPU 的设备 | 1 | — | 推荐用于加速推理 |
| 支持 NPU 的设备 | 1 | — | 可选，用于进一步加速 |
能力画像
⚪ 记忆与知识检索: 2/5
🔵 逻辑推演: 3/5
⚪ 表达与交流: 2/5
⚪ 感知与观察: 2/5
⚪ 数理与计算: 3/5
⚪ 动手与操作: 3/5
⚪ 狂热与坚持: 2/5
⚪ 创造与创新: 3/5
项目图库
所需技能
🔧 **动手能力**：能够安装和配置开发环境，使用命令行工具
💻 **编程能力**：熟悉 Python、Kotlin、Swift、JavaScript 或 C++ 中的至少一种语言
⚡ **电子电路**：不适用
适用场景
在 Android 设备上部署和运行大型语言模型
在 iOS/macOS 应用中集成 LLM 推理能力
在 Web 浏览器中运行 LLM 模型
在桌面系统（Linux、macOS、Windows）上进行 LLM 推理
在 IoT 设备（如 Raspberry Pi）上运行轻量级 LLM
开发支持函数调用的智能体应用