AI Gateway ​

AI Gatewayは、アプリケーションとLLMプロバイダーの間にある単一の制御ポイントです。アプリケーションは単一のOpenAI互換APIを通じて接続し、ゲートウェイがプロバイダー認証、ルーティング、ポリシー適用を処理するため、アプリケーション側でそれらを行う必要はありません。

次の図は、リクエストがAI Gatewayを通過するパスを示しています:

AI Gatewayを使用して、次の操作を実行できます。

• チームにスコープ付きアクセスキーを発行: プロバイダーの認証情報を共有する代わりに、チーム、プロジェクト、またはアプリケーションごとにアクセスキーを生成します。ダウンストリームアプリケーションに触れることなくキーを取り消しまたはローテーションし、プロバイダーキーをEnvironment変数、設定ファイル、CIパイプラインに含めないようにします。
• アプリケーションを書き換えずにプロバイダーを切り替える: Workatoレシピ、Genie、Copilot、外部アプリケーションを単一のOpenAI互換API経由でルーティングします。呼び出し元アプリケーションのコードを変更せずにモデルを切り替えます。
• 利用制限を適用する: ポリシーでレート制限とトークン制限を定義し、そのポリシーをチームまたはアプリケーションが使用するアクセスキーに割り当てて、消費量に上限を設定します。
• IPアドレスでアクセスを制限: ポリシーで特定のIPアドレスまたは範囲からのリクエストを許可またはブロックします。

主要コンポーネント ​

AI Gatewayには次のコンポーネントが含まれています。

• プロバイダー: Anthropic、OpenAI Compatible、Azure OpenAI、AWS BedrockなどのLLMサービスへの接続と、AI Gatewayが認証に使用する認証情報。プロバイダーはプロジェクトに保存され、Genieで再利用できます。
• ルート: リクエストを処理するターゲット。ルートは、直接、またはタグ、キー、パラメーター、リクエストの複雑さに一致するルールを通じて、プロバイダーとモデルに解決されます。アプリケーションは、ルートIDでルートを参照します。
• アクセスキー: アプリケーションがAI Gatewayに提示する認証情報。各アクセスキーは1つ以上のルートへのアクセスを許可し、利用状況をチームまたはアプリケーションに帰属させます。
• ポリシー: ルートとアクセスキーに割り当てる、再利用可能なレート制限、トークン制限、IPアクセス制限。
• ダッシュボード: リクエスト量、トークン利用状況、成功率と失敗率をワークスペースレベルで可視化します。

プロバイダーの追加、ルートの作成、アクセスキーの発行、ポリシーの定義についてはAI Gatewayの設定を参照してください。ルールベースまたはインテリジェントルートが使用するルールの定義についてはRoute builder、トラフィックとトークン利用状況の監視についてはAI Gatewayダッシュボードを参照してください。

AI Gatewayの仕組み ​

アプリケーションはAI Gatewayにリクエストを送信し、アクセスキーで認証します。アクセスキーによってアプリケーションが使用できるルートが決まり、指定されたルートによってリクエストを処理するプロバイダーとモデルが決まります。ポリシーが適用される場合、AI Gatewayはリクエストがプロバイダーに到達する前に、そのレート制限、トークン制限、IPアクセス制限を適用します。

サポート対象アプリケーション ​

OpenAI SDKと互換性のあるクライアントであれば、ゲートウェイがOpenAI-compatible APIを公開しているため、コードを変更せずにAI Gateway経由でルーティングできます。これには、Workatoレシピ、Genie、Copilot、および外部アプリケーションが含まれます。 AI Gatewayは、ストリーミングレスポンスを完全なペイロードを待たずに段階的にレンダリングできるように、Server-Sent Events (SSE)をエンドツーエンドでサポートします。