本記事では、Microsoft Copilot Studioでユーザー満足度を確認する方法についてご紹介します。
なお、今回は前編として、作成したエージェントのフィードバックを収集する機能についてピックアップしてご説明しています。
AIエージェントに興味がある方や、エージェントを利用するユーザーの意見を知りたいと考えている方などにご覧いただければと思います。
これまでの連載
これまでの連載記事一覧はこちらの記事にまとめておりますので、過去の連載を確認されたい方はこちらの記載をご参照ください。
機能概要
Copilot Studioでは、エージェントの回答に対してユーザーがフィードバックを行うための機能が用意されています。収集したフィードバックについては、Copilot Studio上の分析画面から確認することができます。
記事投稿時点では本機能はプレビュー機能であり、既定でオンになっていますが、手動でオフにすることも可能です。
なお、現在フィードバックの収集が可能な公開先は以下に限られます。
- デモWebサイト
- カスタムWebサイト
- ウェブチャットSDK
- Teams
本記事では、Teamsを用いてフィードバック機能を利用してみます。
フィードバックの送信
実際にエージェントを利用するユーザーの画面で確認していきましょう。
エージェントとのチャットを行うと、出力されたメッセージには高評価／低評価をつけることができるようになっています。
試しに低評価ボタンを押してみると、評価の理由を送信することができました。
今回は「挨拶が英語で分かりづらかったです。」と入力しています。
今度は、高評価ボタンを押してみます。
日本の首都に関する質問を行い、出力された回答に高評価をしました。
高評価を行った場合でも、先ほどと同様に評価の理由を送信することができます。
今回は「質問に正しく回答できていました。」と入力しています。
収集したフィードバックの確認
ここからは、収集したフィードバックを確認する方法についてご紹介します。なお、以降の手順はエージェントの編集権限を持つアカウントでの操作を想定しています。
Copilot Studioで対象のエージェントの「分析」タブを開き、上部の期間を選択することで、フィードバックの集計期間を指定します。
エージェントに送信したフィードバックは、「反応」項目に表示されます。
先ほど高評価と低評価を一件ずつ送信したため、合計二件で各評価が50%と表示されています。
また、「詳細を表示する」をクリックすることで、送信されたコメントを確認することができます。
フィードバックの数が多い場合には、高評価や低評価に絞ってコメントを確認することも可能です。
さらに、コメントを表示する際に、分析画面を確認しているアカウントに対して「Bot Transcript Viewer」ロールが付与されている状態であれば、どのような回答に対して評価とコメントがつけられたのかを特定することができます。
なお、ロールの付与はPower Platform管理センターから行う必要があるため、組織の管理者等にご確認ください。
※画像はここまで検証を行った環境と別の環境で撮影しているため、特定した回答内容に異なる部分があります。
利用シーンとメリット、注意点
利用シーン
- 作成したエージェントの評価を知りたいとき
- エージェントの改善を行いたいとき
メリット
- ユーザーの声をエージェント開発に取り入れられる
- エージェントが効果的であるか判断できる
注意点
- フィードバックの収集が可能な公開先は一部に限られる
- コメントの反映には時間がかかることがある
- 分析画面からフィードバック対象の回答を確認するには特定の権限が必要
まとめ
本記事ではユーザーがエージェントの回答に対してフィードバックを行う方法と、収集されたコメントを確認する方法についてご紹介しました。
エージェント開発を行う上でも、実際に利用しているユーザーの意見は重要なポイントとなります。Copilot Studio上で用意されている機能を用いて、効果的な改善を行うことができるのではないでしょうか。
後編では満足度アンケート機能を用いたエージェントの分析方法についてご紹介しますので、投稿までお待ちいただけますと幸いです。
おまけ（Copilot Chatによる本記事の要約）
本記事では、Microsoft Copilot Studioでユーザー満足度を確認する方法の前編として、エージェントのフィードバック収集機能について解説しています。AIエージェントを利用するユーザーの意見を把握したい方に向けた内容です。
機能概要
Copilot Studioには、エージェントの回答に対してユーザーが高評価・低評価を送信できる機能があります。収集したフィードバックは「分析」タブで確認可能で、機能は既定でオンですがオフにすることもできます。対応する公開先は以下の通りです。
- デモWebサイト
- カスタムWebサイト
- ウェブチャットSDK
- Teams
フィードバック送信の流れ
Teamsでの利用例として、チャット画面で評価ボタンを押し、理由をコメントとして送信できます。高評価・低評価どちらの場合もコメント入力が可能です。
フィードバックの確認方法
「分析」タブで期間を指定し、評価の集計結果やコメントを確認できます。Bot Transcript Viewerロールが付与されていれば、どの回答に対する評価かも特定可能です。ロール付与はPower Platform管理センターで行います。
利用シーン
- 作成したエージェントの評価を知りたいとき
- エージェント改善を行いたいとき
メリット
- ユーザーの声を開発に反映できる
- エージェントの有効性を判断可能
注意点
- フィードバック収集は一部公開先のみ対応
- コメント反映に時間がかかる場合あり
- 回答内容確認には特定権限が必要
まとめ
ユーザーの意見はエージェント改善に不可欠であり、Copilot Studioの機能を活用することで効果的な改善が可能です。後編では満足度アンケート機能を用いた分析方法を紹介予定です。
宅見 健太朗（日本ビジネスシステムズ株式会社）
Data&AIプラットフォーム部に所属。生成AIやCopilotをメインに扱いつつ、最近はPythonを用いたコード開発にも挑戦しています。
担当記事一覧