FreeLLMAPI 是一个轻量级的自托管 API 代理路由器。它的核心功能是将来自 Google、Groq、Mistral 等约 14 家大模型服务商的免费 API 额度，统一聚合成一个标准且兼容 OpenAI 格式的调用接口，方便开发者在本地环境下集中管理。
在开发 AI 原型或测试 Agent 工作流时，开发者常面临两难境地：调用频率过高会导致成本激增；而若尝试接入多家服务商的免费额度，则需要面对截然不同的 SDK、限流机制和报错逻辑，维护成本极高。FreeLLMAPI 并不直接提供免费资源，而是通过在本地建立网关，将接口切换、限额追踪和故障转移等复杂逻辑透明化。
核心功能与技术优势
FreeLLMAPI 将多家厂商的接口聚合为标准的 /v1/chat/completions 入口，其主要价值体现在以下两个调度机制中：
- 自动故障转移（Failover）： 当高优先级模型触发 429（请求过多）或 5xx（服务端错误）时，网关会自动将该 Key 放入冷却池，并无缝将请求重定向至备用模型链，单次请求最多支持 20 次重试，极大降低了客户端中断率。
- 用量追踪与限额控制： 系统利用底层 SQLite 数据库实时记录每个 Key 的 RPM（每分钟请求数）和 TPM（每分钟 Token 数），在请求下发前判定是否在安全额度内，防止因过度调用导致 Key 被封禁。
对于 LobeChat、LangChain 等支持自定义 base_url 的效率工具，该网关可以实现无缝接入。
项目基于 Node.js（建议 v20+）开发，配备 React 可视化管理面板。其资源占用极低（闲置约 40MB 内存），采用纯粹的“本地优先”与“单租户”设计。 安全警告： 该工具仅建议部署在个人局域网或开发机内，严禁直接暴露在公网。
对比与风险分析：FreeLLMAPI vs LiteLLM
在选择本地网关时，开发者最常将其与 LiteLLM 进行对比：
1. 定位差异：LiteLLM 是生产级网关，支持团队配额、详细日志和付费路由；而 FreeLLMAPI 追求极致轻量，专注于个人测试额度的统一管理与原型验证，能力边界目前集中在纯文本补全。
2. 封号风险： 网关程序本身不违规，但需警惕上游服务商的 ToS（服务条款）。例如 GitHub Models 或 NVIDIA NIM 的免费层仅限“个人评估”，严禁用于商业代理或分发。若违规将其打包售卖，将面临接口失效或封号风险。
自动切换虽然保证了可用性，但会带来质量波动。当高智商模型额度耗尽，网关会自动切换到参数量较小的兜底模型。这意味着同一个接口在不同时间点返回的内容质量可能截然不同。
适用场景建议
推荐使用人群：
独立开发者、AI 研究员。如果你需要高频测试 AI 功能，且手中拥有多家厂商的免费 Key，使用 FreeLLMAPI 可以有效控制早期开发成本，并学习多模型调度逻辑。
不建议使用场景：
正式的业务后端、团队生产力基建。此类场景对稳定性要求极高，缺乏 SLA 保障的自托管网关无法胜任，建议直接对接官方付费接口。
项目资源与部署
免责声明： 本文基于 GitHub 仓库公开说明及文档整理，仅用于本地网络请求调度与 API 管理的技术分享。本站不提供任何绕过付费机制、未授权调用或商业代理分发的方法。GitHub 公开项目所涉及的第三方底层服务，其调用限制、使用边界及二次分发规范，请严格以各底层大模型厂商最新的服务条款（ToS）为准。
