AI Gateway

AI Gateway 是一个AI领域的开源工具，是应用程序和托管 LLM 之间的接口，通过统一简单的 API，让用户轻松快速接入 100 多种大语言模型，如 OpenAI、Anthropic、Mistral、LLama2、Google Gemini 等。

特色功能

• ✅ 速度极快（快 9.9 倍），占用空间极小（已安装约 45kb）

• ✅ 跨多个模型、提供程序和密钥的负载平衡

• ✅ 回退确保您的应用程序保持弹性

• ✅ 默认情况下具有指数回退的 自动重试

• ✅ 插件中间件根据需要

• ✅ 经过超过100B 代币的战斗测试