ルートビルダー
ルートビルダーは、AI Gatewayが各リクエストをプロバイダーとモデルに解決する方法を設定するビジュアルキャンバスです。すべてのルートはルートビルダーで開き、ルールベースおよびインテリジェントルートではルートビルダーを使用してルールを定義します。 LLMを呼び出すすべてのアプリケーションでモデルをハードコーディングする代わりに、ゲートウェイでターゲットを一度設定し、設定を通じて変更します。
ルールは順番に評価されます。条件が一致する最初のルールによって、リクエストのプロバイダーとモデルが設定されます。一致するルールがない場合、リクエストはルートのデフォルトターゲットにフォールスルーします。
ルートタイプ
ルートを作成するときにルートタイプを選択します。 AI Gatewayでは、次のルートタイプを使用できます。
| ルートタイプ | 説明 | ルールのサポート |
|---|---|---|
| ダイレクト | リクエストを選択したモデルに直接ルーティングします。 | いいえ |
| ルールベース | リクエストに関連付けられたタグ、キー、およびパラメーターに基づいてリクエストをルーティングします。 | はい |
| インテリジェント | 複雑さに基づいてリクエストをルーティングします。 | はい |
ダイレクトルートでは、すべてのリクエストに単一のプロバイダーとモデルを使用します。ルールベースおよびインテリジェントルートでは、代わりにデフォルトプロバイダーとデフォルトモデルを使用し、どのルールにも一致しないリクエストを処理します。
ルートを作成してタイプを選択するには、ルートの作成を参照してください。ルールベースまたはインテリジェントルートのルールは、作成後に定義します。
Canvas
ルートビルダーキャンバスには、リクエストがルート内を通るパスが表示されます。
- リクエスト：エントリーポイントで、New LLM Call（新しいLLM呼び出し）というラベルが付いています。このステップには、ルートに適用されているポリシーが表示されます。ルートにポリシーがない場合はNo policy applied（ポリシー未適用）と表示されます。
- ルール：リクエストをプロバイダーとモデルに解決するステップ。ダイレクトルートには、単一のRoute to（ルーティング先）ステップがあります。ルールベースまたはインテリジェントルートでは、ルールが評価順に表示され、各ルールは
IF <condition> ROUTE TO <provider> / <model>の形式のステートメントとして表示されます。 - デフォルトターゲット：ルールベースまたはインテリジェントルートの最後のステップで、どのルールにも一致しないリクエストをルートのデフォルトプロバイダーとモデルにルーティングします。このステップには、ルールを追加するまではRoute to（ルーティング先）、追加した後はElse route to（それ以外のルーティング先）というラベルが付いています。
- End（終了）：ルートの終端。
ズームコントロールを使用してキャンバスの縮尺を変更し、コードアイコンをクリックしてキャンバスとYAMLビューを切り替えます。
ルートの詳細ページでEdit（編集）をクリックしてルートビルダーを開き、キャンバス上のステップをクリックして設定します。ポリシーを変更するにはNew LLM Call（新しいLLM呼び出し）ステップをクリックし、プロバイダーとモデルを変更するにはRoute to（ルーティング先）ステップをクリックします。ルートの編集を参照してください。
変更を適用するにはSave（保存）をクリックし、ルートビルダーを終了するにはExit（終了）をクリックします。
ルールの追加
ルールを追加するには、次の手順を実行します。
編集するルートを開き、Edit（編集）をクリックしてルートビルダーを開きます。
ルールを挿入するコネクター上の追加アイコン（+）をクリックし、Add rule（ルールの追加）をクリックします。
ルールの追加
Rule（ルール）ステップをクリックして、その設定パネルを開きます。
Model（モデル）セクションのProvider（プロバイダー）ドロップダウンメニューを使用して、このルールのルーティング先プロバイダーを選択します。
ルールの設定
Model（モデル）ドロップダウンメニューを使用して、このルールのルーティング先モデルを選択します。
Conditions（条件）セクションのType（タイプ）ドロップダウンメニューを使用して、ルールが照合する対象を選択します。使用可能なタイプについては、条件タイプを参照してください。
Value（値）ドロップダウンメニューを使用して、条件が照合する値を選択します。 Condition（条件）演算子はequalsです。
保存をクリックします。
条件タイプ
Type（タイプ）ドロップダウンメニューでは、次の条件タイプを使用できます。
| タイプ | ルートタイプ | 照合対象 |
|---|---|---|
| タグ | ルールベース | リクエストを送信したアクセスキーに割り当てられたタグ。 |
| キー | ルールベース | リクエストを送信したアクセスキー。 |
| パラメーター | ルールベース | アクセスキーに設定されているパラメーター名と値。 |
| 複雑さ | インテリジェント | リクエストの複雑さ。使用可能な値はSimple、Medium、Complex、およびReasoningです。 |
Parameter（パラメーター）を選択すると、追加のParameter（パラメーター）フィールドが表示され、ルールが照合するパラメーター名を選択できます。キーを作成または編集するときに、アクセスキーにタグとパラメーターを割り当てます。
条件の組み合わせ
ルールには複数の条件を要求できます。 Conditions（条件）セクションの下部にある追加アイコンをクリックして、ルールに条件を追加します。ルールが一致するには、すべての条件が満たされている必要があります。
条件の横にあるDelete（削除）をクリックして、ルールから削除します。
デフォルトターゲットの変更
デフォルトターゲットは、どのルールにも一致しないリクエストを処理します。
デフォルトターゲットを変更するには、次の手順を実行します。
編集するルートを開き、Edit（編集）をクリックしてルートビルダーを開きます。
キャンバス上の最後のステップをクリックします。このステップには、ルールのないルートではRoute to（ルーティング先）、1つ以上のルールがあるルートではElse route to（それ以外のルーティング先）というラベルが付いています。
Provider（プロバイダー）およびModel（モデル）ドロップダウンメニューを使用して、新しいデフォルトターゲットを選択します。
保存をクリックします。
ルートへのポリシーの割り当て
ポリシーは、ルールに一致するリクエストを含め、ルートを通過するすべてのリクエストに適用されます。
ポリシーを割り当てるには、次の手順を実行します。
編集するルートを開き、Edit（編集）をクリックしてルートビルダーを開きます。
キャンバス上のNew LLM Call（新しいLLM呼び出し）ステップをクリックします。
Policy（ポリシー）ドロップダウンメニューを使用して、すべてのリクエストに割り当てるポリシーを選択します。必要なポリシーがまだ存在しない場合は、Create a new one（新規作成）をクリックします。
ポリシーの割り当て
保存をクリックします。
ルートのYAMLとしての表示
ルートビルダーのコードアイコンをクリックして、ルートの設定をYAMLとして表示します。このビューは読み取り専用で、リクエスト、条件とターゲットを含む順序付けられたルーティングルール、およびルートメタデータを表示します。
最終更新日: