Portkey AI Gateway：快速可靠的AI路由解决方案

技术背景

在人工智能领域，开发者常常需要与多种语言、视觉、音频和图像模型进行交互。然而，不同模型提供商的API各不相同，这给开发和维护带来了很大的挑战。Portkey AI Gateway应运而生，它提供了一个统一、快速且友好的API，可将请求路由到250多个大型语言模型（LLMs），同时具备安全防护和多模态能力，是一个轻量级、开源且适用于企业的解决方案。

实现步骤

1. 搭建AI网关

可以在本地运行网关，这需要安装Node.js和npm：

npx @portkey-ai/gateway

网关将运行在 http://localhost:8787/v1，网关控制台运行在 http://localhost:8787/public/。此外，还提供了多种部署方式，如Portkey Cloud（推荐）、Docker、Node.js、Cloudflare、Replit等。

2. 发起第一个请求

首先安装 portkey-ai 库：

pip install -qU portkey-ai

然后使用以下Python代码发起请求：

from portkey_ai import Portkey

# OpenAI兼容客户端
client = Portkey(
    provider="openai",  # 也可以是 'anthropic', 'bedrock', 'groq' 等
    Authorization="sk-***"  # 提供商的API密钥
)

# 通过AI网关发起请求
client.chat.completions.create(
    messages=[{"role": "user", "content": "What's the weather like?"}],
    model="gpt-4o-mini"
)

3. 配置路由和防护

可以在LLM网关中配置路由规则、添加可靠性设置和设置防护栏：

config = {
    "retry": {"attempts": 5},
    "output_guardrails": [{
        "default.contains": {"operator": "none", "words": ["Apple"]},
        "deny": True
    }]
}

# 将配置附加到客户端
client = client.with_options(config=config)

client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[{"role": "user", "content": "Reply randomly with Apple or Bat"}]
)

核心代码

Python代码示例

from portkey_ai import Portkey

# 初始化客户端
client = Portkey(provider="openai", Authorization="sk-***")

# 发起请求
response = client.chat.completions.create(
    messages=[{"role": "user", "content": "What's the weather like?"}],
    model="gpt-4o-mini"
)

print(response)

配置示例

config = {
    "retry": {"attempts": 5},
    "output_guardrails": [{
        "default.contains": {"operator": "none", "words": ["Apple"]},
        "deny": True
    }]
}

client = client.with_options(config=config)

最佳实践

• 可靠性设置：使用自动重试和回退机制，确保请求的可靠性。
• 负载均衡：通过负载均衡和条件路由扩展AI应用。
• 安全防护：使用防护栏验证LLM的输入和输出，确保符合安全和准确性标准。
• 成本管理：使用智能缓存和提供商优化功能，降低成本。

常见问题

• 请求失败：可以通过自动重试机制解决，最多重试5次。
• 安全合规：AI网关符合SOC2、HIPAA、GDPR和CCPA等合规标准。
• 性能问题：网关具有快速的响应时间（<1ms延迟）和小的占用空间（122kb），可以有效解决性能问题。