Azure OpenAI Serviceのモデルルーターについて

最近プレビューになった「モデルルーター」について試してみたので、使い方を紹介したいと思います。

learn.microsoft.com

概要
モデルルーターのデプロイ
モデルルーターの動作
RESTAPIで試してみる
まとめ

概要

モデルルーターはクエリの複雑さ、コスト、パフォーマンスなどの要因を評価することで、要求を最適なモデルにルーティングします。

また、モデルルーターが選択するモデルは現在決まっていて、RAGと組み合わせたり、ユーザーがファインチューニングしたモデルを使ったりするなどのオーケストレーションすることは出来ません。

利用できるモデル

現状で選択されるモデルは以下です。

GPT-4.1 (2025-04-14)
GPT-4.1-mini (2025-04-14)
GPT-4.1-nano (2025-04-14)
o4-mini (2025-04-16)

また利用はモデルルーターのみデプロイすれば利用可能で別途対象のモデルをデプロイする必要はありません。

TPMについて

TPMの制限はそれぞれ別のようです。

モデルルーターを最大までデプロイした状態でも対象のモデルのデプロイが可能です。

モデルルーターを最大値でデプロイした場合です。

o4-miniなどのTPMには加算されないようです。

料金について

現在のところ無料ですが、8月1日以降料金が発生するようです。

現在、モデルルーターをご利用の場合、プロンプトに応答するためにリクルートされた基盤モデルの使用料のみが課金されます。モデルルーティング機能自体には追加料金は発生しません。8月1日以降は、モデルルーターの使用料も課金対象となります。

Azure AI Foundry (プレビュー) のモデルルーターの概念 - Azure OpenAI | Microsoft Learn

モデルルーターのデプロイ

「モデルのデプロイ」からデプロイします。

model-routerを選択します。

デプロイの種類やモデルバージョンは選択の項目は表示されますが、デフォルト以外の選択肢はないのでそのままデプロイします。

モデルルーターの動作

早速プレイグラウンドで試してみます。

挨拶ではGPT-4.1-nanoが選択されたようです。

次に長めのプロンプト（1000文字）を送りましたがGPT-4.1-nanoが選択されました。

数学の問題

次に高校生レベルの数学の問題を解かせてみます。

高校生レベルの数学の問題ではGPT-4.1-miniが選択されたようです。

ちなみに正解です。

次に東大入試の数学の問題を解かせてみます。

GPT-4.1 nanoが選択されました。（１）、（２）は正解ですが（３）は間違っていました

間違いを指摘しましたがもう一度GPT-4.1-nanoで回答しています

法律の問い合わせ

今年施行された「民事裁判情報の活用の促進に関する法律」を全文張り付けて、この法律の概要と狙いを聞いてみました。

この全文は3800文字でしたが、ここではGPT-4.1-nanoが選択されました。

次に、民法全文を張り付けて家賃の滞納について聞いてみます。

民法全文は22万文字程度ですが、今回はGPT-4.1が選択されました。

画像付き

次に画像付きを試してみましたが、GPT-4.1-nanoが選択されました。

プログラム生成

プログラムも試してみましたが、GPT-4.1-nanoが選択されました。

まとめると以下の通りです。ほとんどの回答ではGPT-4.1-nanoが使われました

挨拶	GPT-4.1-nano
長いプロンプト	GPT-4.1-nano
高校レベルの数学	GPT-4.1-mini
東大入試の数学	GPT-4.1-nano
短い法律	GPT-4.1-nano
長い法律	GPT-4.1
画像入力	GPT-4.1-nano
プログラム生成	GPT-4.1-nano

RESTAPIで試してみる

RESTAPIからの使い方は他のモデルのChat Completion APIと同様です。

ドキュメントにも記載がありますが、GPT4.1系で設定できるパラメータは使用可能ですがo系のモデルが選択された際は無視されます。逆にo系で使うreasoning_effortはエラーになります。

プロンプトの複雑さでreasoning_effortの値は決まるそうです。

reasoning_effortを入れた例です。

下記の通りエラーになります。

まとめ

ドキュメント上は4つのモデルを選択するとありましたが、今回試した中では推論モデルのo4-miniは選択されませんでした。クエリの複雑さで選択されるということですが、推論モデルが選ばれる例がわかりましたら記載したいと思います。

現在、Azure OpenAI Serviceではたくさんのモデルが利用可能となっており、開発者以外ではなかなか適切なモデルを選ぶことは難しいので、こういった仕組みがあるのは良いことだと思います。

GA後には料金がかかるようですが、料金次第ではコストメリットがなくなる可能性もあるので、料金には注視したいと考えています。