LiteRT-LM
LiteRT-LM
⭐⭐⭐☆☆ (3/5)
🧩 软硬件结合
已发布
项目简介
LiteRT-LM is Google's production-ready, high-performance, open-source inference framework for deploying Large Language M
LiteRT-LM 是 Google 推出的生产级、高性能、开源推理框架，专为在边缘设备上部署大型语言模型（LLM）而设计。它解决了将大模型从云端迁移到本地设备时面临的性能、功耗和兼容性挑战，让开发者能够在手机、平板、可穿戴设备、物联网终端甚至浏览器中直接运行复杂的生成式 AI 应用。
标签
项目特点
📱 **跨平台支持**：Android、iOS、Web、桌面和 IoT（如 Raspberry Pi）
🚀 **硬件加速**：通过 GPU 和 NPU 加速器实现峰值性能
👁️ **多模态**：支持视觉和音频输入
🔧 **工具使用**：支持函数调用，适用于智能体工作流
📚 **广泛的模型支持**：Gemma、Llama、Phi-4、Qwen 等
🐍 **多语言 API**：提供 Python、Kotlin、Swift、JavaScript、Flutter 和 C++ 接口
🔥 **生产就绪**：已用于 Google 的 Chrome、Chromebook Plus、Pixel Watch 等产品
技术规格
| 框架类型 | |
|---|---|
| 目标平台 | |
| 硬件加速 | |
| 多模态支持 | |
| 工具调用 | |
| 支持的模型 | |
| 语言 API | |
| 最新版本 | |
| 许可证 |
项目资源
物料清单 (BOM)
| 物料名称 | 数量 | 参考价格 | 备注 |
|---|---|---|---|
| Python 3.8+ | 1 | — | 运行 CLI 和 Python API |
| uv (Python 包管理器) | 1 | — | 快速安装 CLI |
| Android Studio | 1 | — | 开发 Android 应用 |
| Xcode | 1 | — | 开发 iOS/macOS 应用 |
| 支持 GPU 的设备 | 1 | — | 推荐用于加速推理 |
| 支持 NPU 的设备 | 1 | — | 可选，用于进一步加速 |
所需工具
| 工具 | 用途 | 是否必需 |
|---|---|---|
| Python 3.8+ | 运行 CLI 和 Python API | ✅ 是 |
| uv | 快速安装 CLI | ▢ 推荐 |
| Android Studio | 开发 Android 应用 | ▢ 推荐 |
| Xcode | 开发 iOS/macOS 应用 | ▢ 推荐 |
| 支持 GPU 的设备 | 加速推理 | ▢ 推荐 |
| 支持 NPU 的设备 | 进一步加速 | ▢ 推荐 |
能力画像
记忆与知识检索
2/5
逻辑推演
3/5
表达与交流
2/5
感知与观察
2/5
数理与计算
3/5
动手与操作
3/5
狂热与坚持
2/5
创造与创新
3/5
项目图库
所需技能
🔧 **动手能力**：能够安装和配置开发环境，使用命令行工具
💻 **编程能力**：熟悉 Python、Kotlin、Swift、JavaScript 或 C++ 中的至少一种语言
⚡ **电子电路**：不适用
适用场景
在 Android 设备上部署和运行大型语言模型
在 iOS/macOS 应用中集成 LLM 推理能力
在 Web 浏览器中运行 LLM 模型
在桌面系统（Linux、macOS、Windows）上进行 LLM 推理
在 IoT 设备（如 Raspberry Pi）上运行轻量级 LLM
开发支持函数调用的智能体应用