Loading... # Squirrel LLM Gateway：企业级 LLM 统一网关发布 # 一、新闻概述 ## 1. 标题 Squirrel LLM Gateway：企业级 LLM 统一网关开源发布 ## 2. 发布时间 2026 年 2 月（最新提交：2026-02-16） ## 3. 来源 GitHub 开源项目 # 二、核心内容 ## 1. 事件摘要 ### A. 主要内容 开发者 mylxsw 开源了 Squirrel LLM Gateway，这是一个高性能、企业级的 LLM 代理服务，旨在统一和管理对 OpenAI、Anthropic 等大语言模型提供商的访问。 ### B. 核心亮点 - 统一 API 接口：单一接入点访问多个 LLM 提供商 - 零代码变更：完全兼容 OpenAI 和 Anthropic SDK - 智能路由：支持基于规则、优先级、权重的请求路由 - 协议转换：内置 OpenAI Chat、OpenAI Responses、Anthropic Messages 之间的协议转换 - 全面可观测性：完整的请求/响应日志、Token 计费、延迟监控 ## 2. 关键信息 ### A. 版本信息 - 开源协议：MIT License - 最新提交：4fa62b0（2026-02-16） - Python 版本：3.12+ - 前端：Next.js 16 + TypeScript + shadcn/ui ### B. 重要数据 - GitHub Stars：20+ - Forks：4 - 主要编程语言：Python 73.2%、TypeScript 25.8% ### C. 涉及技术 - 后端：FastAPI、Alembic、SQLite/PostgreSQL - 前端：Next.js 16、shadcn/ui - 协议转换：自研 llm_api_converter SDK - 容器化：Docker、Docker Compose ## 3. 背景介绍 ### A. 项目定位 Squirrel LLM Gateway 定位为企业级 LLM 接入中间件，解决企业在使用多个 LLM 提供商时面临的集成复杂、成本控制、故障切换等问题。 ### B. 相关上下文 随着 LLM 技术的快速发展，企业往往需要同时接入多个 LLM 提供商以实现成本优化和风险分散。Squirrel 提供了统一的接入层，简化了这一过程。 # 三、详细报道 ## 1. 主要功能 ### A. 统一 API 接口 Squirrel 提供了统一的 API 接口，支持： - OpenAI 兼容：/v1/chat/completions、/v1/completions、/v1/embeddings、/v1/audio/*、/v1/images/* - OpenAI Responses 兼容：/v1/responses（支持流式和工具调用） - Anthropic 兼容：/v1/messages 端点 - 协议转换：OpenAI Chat ↔ OpenAI Responses ↔ Anthropic Messages 之间无缝转换 ### B. 智能路由策略 系统支持多种路由策略： - 轮询（Round-Robin）：均匀分配请求 - 优先级（Priority-Based）：优先使用首选提供商 - 权重（Weight-Based）：按自定义权重分配 - 成本（Cost-Based）：自动选择价格最低的模型 - 基于规则：根据模型名称、请求头、消息内容或 Token 数量路由 ### C. 高可用性设计 - 自动重试：可配置的重试次数（默认 3 次） - 提供商故障转移：无缝切换到备用提供商 - 超时管理：可配置请求超时（默认 30 分钟） ### D. 全面可观测性 - 完整请求/响应捕获：包括流式响应 - Token 追踪：使用 tiktoken 自动计数 - 延迟指标：首字节延迟和总响应时间 - 成本分析：按时间、模型、提供商、API Key 汇总统计 - 数据脱敏：自动处理日志中的敏感信息 ## 2. 技术架构 ```mermaid graph TB Client[客户端应用] --> Gateway[Squirrel LLM Gateway] Gateway --> Router[智能路由引擎] Router -->|基于规则/优先级/权重/成本| Provider1[OpenAI 提供商] Router --> Provider2[Anthropic 提供商] Router --> Provider3[Azure OpenAI] Router --> Provider4[本地模型] Gateway --> Dashboard[管理控制台] Gateway --> Logger[日志记录] Gateway --> Metrics[指标统计] Logger --> DB[(数据库)] Metrics --> DB Dashboard -->|查询| DB Dashboard -->|管理| Router ```  ## 3. 核心组件 ### A. 后端架构（Python/FastAPI） ``` backend/ ├── app/ │ ├── api/ # API 路由（代理、管理） │ ├── services/ # 业务逻辑 │ ├── providers/ # 协议适配器 │ ├── repositories/ # 数据访问层 │ ├── db/ # 数据库模型 │ ├── domain/ # DTO 和领域模型 │ ├── rules/ # 规则评估引擎 │ └── common/ # 工具函数 ├── migrations/ # Alembic 迁移 └── tests/ # 测试套件 ``` ### B. 协议转换 SDK 独立的 llm_api_converter 模块提供： - OpenAI ↔ Anthropic 协议转换 - 请求、响应和流式传输支持 - 工具调用（Tool Calls）转换 ### C. 前端架构（Next.js 16） ``` frontend/ └── src/ ├── app/ # Next.js App Router 页面 ├── components/ # React 组件 └── lib/ # 工具和 API 客户端 ``` ## 4. 部署方式 ### A. Docker Compose（推荐） ```bash git clone https://github.com/mylxsw/llm-gateway.git cd llm-gateway docker compose -f docker-compose.prod.yml up -d ``` ### B. 单容器 Docker ```bash docker run -d \ -p 8000:8000 \ -v $(pwd)/data:/data \ --name llm-gateway \ ghcr.io/mylxsw/llm-gateway:latest ``` ### C. 手动安装 后端： ```bash cd backend uv sync # 或 pip install -r requirements.txt alembic upgrade head uvicorn app.main:app --host 0.0.0.0 --port 8000 ``` 前端： ```bash cd frontend npm install npm run build && npm run start ``` ## 5. 支持的提供商 | 提供商 | 协议 | 说明 | |--------|------|------| | OpenAI | OpenAI | 完整支持 GPT-4、GPT-3.5、Embeddings、Audio、Images | | OpenAI | OpenAI Responses | 通过 /v1/responses 提供 Responses API | | Anthropic | Anthropic | 通过 Messages API 提供 Claude 模型 | | Azure OpenAI | OpenAI | 使用 Azure 端点 URL | | 本地模型 | OpenAI | Ollama、vLLM、LocalAI 等 | | 其他提供商 | OpenAI/Anthropic | 任何兼容的 API 端点 | # 四、影响分析 ## 1. 行业影响 ### A. 降低 LLM 接入门槛 Squirrel 通过统一的 API 接口和协议转换能力，降低了企业接入多个 LLM 提供商的技术门槛。 ### B. 促进成本优化 智能路由和成本分析功能帮助企业优化 LLM 使用成本，实现按需选择最合适的模型。 ### C. 提升系统可靠性 故障转移和重试机制提高了 LLM 应用的可靠性，避免单点故障。 ## 2. 用户影响 ### A. 开发者 - 无需修改现有代码，直接替换 base_url 即可使用 - 统一的管理界面简化配置和监控 - 详细的日志和指标帮助调试和优化 ### B. 企业用户 - 集中管理多个 LLM 提供商的 API Key - 细粒度的访问控制和成本分析 - 降低供应商锁定风险 ### C. 迁移成本 - Docker 部署方式简化安装过程 - 支持 SQLite（开发）和 PostgreSQL（生产） - 完整的 API 文档和迁移指南 ## 3. 技术趋势 ### A. LLM 中间件兴起 Squirrel 是 LLM 中间件领域的最新项目，与 similar projects 如 LiteLLM、Portkey 形成竞争。 ### B. 协议标准化 内置的协议转换功能反映了 LLM API 标准化的趋势，尽管各提供商的协议仍在演进中。 ### C. 可观测性重要性 完整的日志和指标功能凸显了生产环境 LLM 应用对可观测性的需求。 # 五、各方反应 ## 1. 开发者社区 - GitHub 项目刚发布不久，已有 20+ Stars 和 4 Forks - 项目活跃度高，最近几天仍在持续更新 ## 2. 技术亮点 ### A. 协议转换能力 内置的 llm_api_converter SDK 是一大亮点，支持三种主流协议之间的无缝转换。 ### B. 现代化技术栈 FastAPI + Next.js 16 + shadcn/ui 的组合代表了当前 Python/JavaScript 全栈开发的最佳实践。 ### C. 企业级特性 完整的日志记录、成本分析、多维度过滤等功能体现了企业级产品的设计思维。 # 六、相关链接 ## 1. 官方资源 - GitHub 仓库：https://github.com/mylxsw/llm-gateway - Docker 镜像：ghcr.io/mylxsw/llm-gateway:latest ## 2. 技术文档 - 架构设计：docs/architecture.md - API 参考：docs/api.md - 模块详情：docs/modules.md - 协议转换：docs/protocol_conversion.md ## 3. 相关项目 - LiteLLM：另一个 LLM 统一接口项目 - Portkey：LLM 网关和可观测性平台 *** ## 参考资料 1. [Squirrel LLM Gateway - GitHub](https://github.com/mylxsw/llm-gateway) 2. [项目 README 文档](https://github.com/mylxsw/llm-gateway/blob/main/README.md) 最后修改：2026 年 02 月 17 日 © 允许规范转载 赞 如果觉得我的文章对你有用，请随意赞赏