Shimmy
shimmy
3/5
🧩 软硬件结合
已发布
项目简介
⚡ Python-free Rust inference server — OpenAI-API compatible. GGUF + SafeTensors, hot model swap, auto-discovery, single
Shimmy 是一个轻量级的开源 API 服务器，旨在作为 OpenAI API 的本地替代方案。它以一个单一二进制文件的形式，提供了 100% 兼容 OpenAI 的接口，让用户能够在本地运行 GGUF 格式的大语言模型，无需依赖任何外部服务或复杂的 C++ 工具链。其核心价值在于让用户完全掌控自己的数据和推理过程，实现真正的本地化、私有化且免费的大模型部署。
标签
项目特点
**纯 Rust 实现**：无需 Python、C++ 工具链或其他外部依赖，单一二进制文件即可运行。
**OpenAI API 兼容**：提供 100% 兼容的 `/v1/chat/completions` 等端点，可无缝替换现有 OpenAI 客户端和工具。
**Airframe 引擎**：自研的纯 Rust WebGPU (WGSL) 推理引擎，提供 F32 精度推理，支持多种模型架构。
**TurboShimmy INT4 KV**：创新的 INT4 KV 缓存压缩技术，可将 KV 缓存显存占用降低约 7 倍，且无明显质量损失。
**热模型切换**：支持在运行时动态切换模型，无需重启服务器。
**自动模型发现**：自动扫描 HuggingFace 缓存、Ollama 目录、LM Studio 缓存等位置，注册并服务模型。
**扩展上下文支持**：通过 `SHIMMY_MAX_CTX` 环境变量支持 YaRN RoPE 缩放，实现扩展上下文窗口。
**跨平台支持**：提供 Windows、Linux、macOS 的预编译二进制文件。
技术规格
| 编程语言 | Rust |
|---|---|
| 推理引擎 | Airframe (纯 Rust WebGPU/WGSL) |
| 支持的模型格式 | GGUF, SafeTensors |
| 支持的量化类型 | F32, F16, Q4_0, Q8_0, Q4_K, Q5_K, Q6_K |
| 已验证模型架构 | Llama, Phi-2, Gemma-2, StarCoder2, GPT-2 |
| KV 缓存压缩 | TurboShimmy INT4 (可选，~7x 压缩) |
| API 兼容性 | OpenAI API (v1/chat/completions) |
| 默认端口 | 11435 |
| 许可证 | MIT |
项目资源
搜索资源
物料清单 (BOM)
| 物料名称 | 数量 | 参考价格 | 备注 |
|---|---|---|---|
| 操作系统 | 1 | — | Windows, Linux, macOS |
| 显卡驱动 (支持 WebGPU) | 1 | — | 用于 GPU 推理 |
| GGUF 格式模型文件 | 1 | — | 如 TinyLlama, Llama-3.2 等 |
能力画像
⚪ 记忆与知识检索: 1/5
🔵 逻辑推演: 1/5
⚪ 表达与交流: 1/5
⚪ 感知与观察: 1/5
⚪ 数理与计算: 1/5
⚪ 动手与操作: 1/5
⚪ 狂热与坚持: 1/5
⚪ 创造与创新: 1/5
项目图库
所需技能
🔧 **动手能力**：能够下载并运行预编译的二进制文件，配置环境变量。
💻 **编程能力**：了解基本的命令行操作和 API 调用（如 curl）。
⚡ **电子电路**：不适用。
适用场景
**本地 AI 推理**：在个人电脑上运行 LLM，无需联网，保护数据隐私。
**开发与测试**：作为 OpenAI API 的本地替代品，用于开发和测试 AI 应用。
**低配硬件推理**：利用 TurboShimmy 技术，在 4GB 或更低显存的 GPU 上运行 3B 甚至 7B 参数的模型。
**集成到现有工具链**：无缝替换任何使用 OpenAI API 的客户端、框架或工具（如 LangChain, AutoGPT）。