【Microsoft×生成AI連載】シリーズの記事です。
Copilot Studioで作成したエージェントは、公開前や改善時に十分な評価・テストを行うことが重要です。
評価作業を効率化できる機能として、Copilot Studioの評価タブでは「会話型テストセット」が利用できるようになりました。
会話型テストセットを利用すると、実際のユーザーとのやり取りを想定した複数ターンの会話をまとめてテストできるため、エージェントの回答品質や会話の流れを効率的に検証できます。
本記事では、会話型のテストセットについて紹介します。
これまでの連載
これまでの連載記事一覧はこちらの記事にまとめておりますので、過去の連載を確認されたい方はこちらの記載をご参照ください。
会話型テストセットの紹介
テストセットとは
Copilot Studioのテストセットとは、エージェントの回答が正しいかを確認するために、あらかじめ用意した質問と評価条件をまとめたものです。
このテストセットを使うことで、複数の質問を一括で実行し、回答の正確さや適切さを自動で評価できます。
手作業のテストを繰り返すことなく、エージェントの品質を効率よくテストすることができます。
会話型のテストセットとは
従来のテストセットは1問1答形式でした。そのため、回答の正しさについては確認できましたが、会話全体の自然さや過去の会話とのつながりを確認することはできません。
会話型のテストセットを活用することで、複数ターンのやり取りを通じて文脈理解や応答の一貫性まで含めて評価が可能となり、会話全体の自然さや過去の会話とのつながりを確認することが可能となります。
前提条件
本機能を使用するための条件は下記の通りです。
- Microsoft Copilot Studioのライセンスを所持していること
- 評価対象となるエージェントを作成していること
※本機能はプレビュー版のため、今後変更される可能性があります。
会話型のテストセットを使ってみた
テストセットの作成
テストセットを作成するには以下の4つの方法があります。
- 既存の会話データのファイルをアップロードする
- CSVファイルで会話のデータを所持している場合は、ファイルからテストセットを作成できます。
- AIを用いてテストセットを生成する（「簡易会話セット」と「完全な会話セット」）
- 簡易会話セット
- エージェントの説明・指示・機能をもとにして、簡単な会話のテストセットが10件生成されます。
- 完全な会話セット
- 生成数や参照資料を選択することができ、トピックや指示文に基づいた会話形式のテストセットが生成されます。
- 簡易会話セット
- 実際のチャットログを用いてテストセットを生成する
- 「Preview chat」から試しているチャット内容をそのまま評価データにすることができます。
- 右側のテストペインで実施してきたテスト会話の履歴を用いてテストケースを作成します。
- 手動でテストセットを作成する
- 「または、自分自身で質問を書きます」から手動でテストセットを作成できます。
今回は、右側のテストペインで実施したテスト会話の履歴があるため、このチャットログを活用してテストセットを生成できる「Preview chat」を試してみます。
まず、Copilot Studioのエージェント編集画面を開き、上のタブから「評価」を選択します。
「テストセットを作成する」を選択します。
「会話(プレビュー)」を選択します。
「Preview chat」を選択します。
先ほど確認したテスト会話の履歴から、テストセットが生成されます。
テストセットの名前を設定し、「実行」を押下します。なお、「実行」を選択した時にテストセットは自動で保存されます。
プロファイルと接続の管理の設定画面が表示されますが、今回は特に設定をしていないので、そのまま「実行」をクリックします。
実行結果
「評価」タブの「最近の結果」から、実行したテストを選択します。
すると、テストセットを実行した結果が表示されます。ここで、テストのサマリを確認することができます。
テストケースを選択することで、各テストケースのサマリを確認することができます。
また、ここで「会話」を選択することで、テスト時の詳細な会話を確認することもできます。
「会話」をクリックすると、画像のように、質問とそれに対するエージェントからの回答を確認することができます。
利用シーンとメリット、注意点
利用シーン
- Copilot Studioで会話型のエージェントを開発した際に活用できます。
- 会話の流れや過去の会話なども含めたエージェントのテストを自動で実施することができます。
メリット
- エージェントのテストにかかる時間を大幅に削減することが可能となります。
- 同じ内容をテストすることが可能となるので、エージェントの更新がどのような変化を与えたのかがすぐに理解することが可能です。
注意点
- 実行時の結果はAIが判定を行っており、必ず正しいとは限らないので、テストの結果を確認することが必要です。
- また、本機能はプレビュー版のため、今後変更される可能性があります。
まとめ
本記事ではCopilot Studioの会話型テストセットについて紹介しました。
エージェントのテストにかかる労力を大幅に削減でき、エージェント更新の影響の把握もしやすくなるため、積極的に活用していきたいと思います。
おまけ(Copilot Chatによる本記事の要約)
記事概要
本記事では、Copilot Studioの評価機能で利用できる「会話型テストセット（プレビュー）」について紹介しています。
従来のテストセットは1問1答形式のテストでしたが、会話型テストセットでは複数ターンの会話をまとめて実行・評価できるため、エージェントの文脈理解や応答の一貫性まで確認できるようになります。
会話型テストセットとは
会話型テストセットは、実際のユーザーとの会話を想定した複数ターンのシナリオを用いてエージェントを評価する機能です。
これにより、
会話全体の自然さ
前の会話内容を踏まえた応答
応答の一貫性
回答品質
などを効率的に検証できます。
テストセットの作成方法
記事では、会話型テストセットを作成する方法として以下の4種類を紹介しています。
既存の会話データ（CSV）をアップロード
AIによる自動生成
簡易会話セット
完全な会話セット
Preview chatで実施したチャット履歴から生成
手動作成
今回の検証では、Preview chatの会話履歴を利用する方法を試しています。
実施手順
大まかな流れは以下です。
Copilot Studioで対象エージェントを開く
「評価」タブを選択
「テストセットを作成する」をクリック
「会話（プレビュー）」を選択
「Preview chat」を選択
過去のテスト会話履歴からテストセットを生成
テストセット名を設定
「評価」を実行
必要な接続情報を確認して実行
実行結果の確認方法
評価の実行後は、
評価タブの「最近の結果」
テストケースごとのサマリー
実際の会話内容
を確認できます。
テストケース単位で詳細を確認できるため、どの会話で問題が発生したのかを把握しやすくなっています。
利用シーン
以下のような場面で活用できます。
Copilot Studioで会話型エージェントを開発した場合
リリース前の品質確認
エージェント改修後の回帰テスト
会話品質の継続的な評価
メリット
テスト工数を大幅に削減できる
同じシナリオで繰り返し評価できる
エージェント更新による影響を比較しやすい
会話全体の品質を確認できる
注意点
評価結果はAIによる判定のため、最終的な確認は人が行う必要がある
本機能はプレビュー版のため、今後仕様変更の可能性がある
まとめ
Copilot Studioの会話型テストセットを利用することで、複数ターンの会話をまとめて自動評価できるようになり、エージェントの品質確認にかかる工数を大幅に削減できます。特に、会話の流れや文脈理解まで含めて検証したい場合に有効な機能であり、エージェント開発・改善時の品質管理に役立つ機能として紹介されています。
