待补充
microsoft/nn-Meter
嵌入AI
4/5
🧩 软硬件结合
已发布
项目简介
A DNN inference latency prediction toolkit for accurately modeling and predicting the latency on diverse edge devices.
nn-Meter 是微软推出的一款高精度深度学习模型推理延迟预测系统，荣获了 Mobisys 2021 最佳论文奖。它的核心价值在于让开发者无需在真实设备上实际部署和运行模型，就能准确预测 DNN 模型在不同边缘设备上的推理延迟，从而大幅降低硬件适配和性能评估的成本。
标签
项目特点
**高精度预测**：基于自适应采样和内核级预测模型，延迟预测误差通常低于 5%。
**跨设备支持**：覆盖多种主流边缘设备，包括手机、平板、IoT 设备等。
**无需真实硬件**：开发者只需提供模型结构，即可在本地完成延迟评估。
**轻量级集成**：提供 Python API 和命令行工具，方便嵌入现有工作流。
**学术级成果**：源自 Mobisys 2021 最佳论文，算法经过严格验证。
**开源可扩展**：支持用户自定义设备配置和模型结构，便于二次开发。
技术规格
| TensorFlow、PyTorch、ONNX | |
| 手机（骁龙/麒麟/Exynos）、平板、树莓派、Intel NUC 等 | |
| 内核级（conv、pooling、fc 等） | |
| 平均误差 < 5%（在主流设备上） | |
| 模型结构描述（JSON / 模型文件） | |
| 延迟预测值（毫秒） | |
| Python | |
| Linux / macOS / Windows | |
| PyTorch / TensorFlow / ONNX Runtime |
项目资源
搜索资源
物料清单 (BOM)
| 物料名称 | 数量 | 参考价格 | 备注 |
|---|---|---|---|
| Python 3.7+ | 1 | — | 运行环境 |
| PyTorch / TensorFlow / ONNX | 1 | — | 至少选其一 |
| nn-Meter 包 | 1 | — | pip install nn-meter |
| 设备预测模型文件 | 1 | — | 从 Releases 下载 |
| Git | 1 | — | 克隆仓库 |
| pip | 1 | — | 包管理器 |
能力画像
**记忆与知识检索**：3/5 — 需要理解深度学习模型结构，但预测过程自动化，无需记忆大量参数。
**动手与操作**：2/5 — 主要依赖命令行和 API，硬件操作极少。
**编程与算法**：4/5 — 需要编写 Python 脚本加载模型、调用预测接口，理解预测算法原理。
**设计与建模**：2/5 — 不涉及硬件设计或电路建模，但需要理解模型结构描述。
**实验与调试**：3/5 — 需要对比预测值与实测值，调试模型输入格式或设备配置。
**协作与分享**：2/5 — 单机工具，但可通过 GitHub 提交 issue 或 PR 参与改进。
**学习与研究**：4/5 — 涉及延迟预测前沿算法，适合学术研究和性能优化学习。
**系统集成**：3/5 — 可集成到自动化测试或模型选型流水线中，需要一定工程能力。
项目图库
所需技能
Python 编程基础
深度学习模型结构理解（CNN、Transformer 等）
命令行操作
基本的数据分析能力（对比预测与实测延迟）
了解边缘设备硬件特性（加分项）
适用场景
边缘设备模型选型与性能评估
模型压缩与量化后的延迟验证
自动化模型部署流水线中的延迟预估
学术研究中的推理延迟建模
硬件厂商的芯片性能基准测试
移动端 AI 应用的开发与优化