galliot-us/neuralet

Neuralet is an open-source platform for edge deep learning models on edge TPU, Jetson Nano, and more.

Neuralet 是一个专注于边缘设备深度学习模型部署的开源平台，由 Galliot 团队于 2019 年发起并持续维护。它的核心目标是降低在 GPU、TPU 等异构硬件上启动和评估深度学习模型的门槛，尤其针对 Coral Dev Board TPU 和 amd64 架构配合 USB 边缘 TPU 的场景进行了深度优化。项目以 Docker 容器化作为核心交付方式，为每个设备上的每个模型构建独立的容器镜像，用户只需拉取对应容器即可在目标设备上直接运行，无需手动配置复杂的依赖环境或编译底层库。目前支持的模型覆盖图像分类和目标检测两大领域，包括 EfficientNet-EdgeTPU 系列、多种 Inception 变体、MobileNet 系列以及 MobileNet SSD 系列，并特别提供了针对鸟类、昆虫、植物等细粒度分类的专用模型。技术栈上，Neuralet 主要依托 TensorFlow Lite 和 Edge TPU 编译器进行模型量化与加速，容器化方案则保证了跨平台的可移植性和环境一致性。该项目解决了边缘计算中常见的痛点：模型在不同硬件间的适配困难、环境配置繁琐、以及缺乏开箱即用的评估工具。适用场景包括智能安防、工业质检、农业监测、零售分析等需要低延迟、本地化推理的嵌入式或物联网应用。未来计划扩展至 NVIDIA Jetson 等更多边缘设备，进一步覆盖主流硬件生态。对于希望快速验证边缘 AI 可行性或部署轻量级视觉应用的开发者而言，Neuralet 提供了一条从模型选择到设备运行的捷径。