dusty-nv/NanoLLM
⭐⭐⭐☆☆ (3/5)
🧩 软硬件结合
已发布
项目简介
Optimized local inference for LLMs with HuggingFace-like APIs for quantization, vision/language models, multimodal agent
NanoLLM 是一个专为边缘设备优化的轻量级大语言模型推理框架，由 dusty-nv 开发，主要面向 NVIDIA Jetson 等嵌入式平台。它的核心价值在于让开发者能够在资源受限的硬件上高效运行 LLM，同时保持与 HuggingFace 生态的兼容性。项目解决了传统大模型推理框架在边缘设备上部署困难、内存占用高、推理速度慢的问题，特别适合机器人、智能摄像头、边缘 AI 服务器等场景。