本記事では、Microsoft Copilot Studioでユーザー満足度を確認する方法についてご紹介します。
なお、今回は後編として満足度アンケート機能についてピックアップしてご説明しています。前編となるフィードバック機能の記事も併せてご覧いただけますと幸いです。
前編記事：【Microsoft×生成AI連載】Copilot Studioでユーザー満足度を確認する方法【前編】 - JBS Tech Blog
AIエージェントに興味がある方や、エージェントを利用するユーザーからの評価を知りたいと考えている方などにご覧いただければと思います。
これまでの連載
これまでの連載記事一覧はこちらの記事にまとめておりますので、過去の連載を確認されたい方はこちらの記載をご参照ください。
満足度アンケート機能
機能概要
Copilot Studioでは、エージェント作成時にいくつかの「トピック」が自動的に作成されます。その中の一つに、満足度アンケートを行うためのトピックも用意されています。
具体的には五段階で評価を付けられるようになっており、エージェントの開発者はこれらを参考にユーザー満足度を測ることが可能となっています。
トピックの動作
エージェント作成直後の状態では、二つのトピックによって満足度アンケートを行う仕組みになっています。
一つ目は、「お問い合わせありがとうございました」という名前のトピックです。
こちらではユーザーに会話を終了するか尋ね、終了する場合には次の「会話の終了」トピックを動作させます。
エージェント作成時に言語を英語に設定した場合には、"Goodbye"という名前のトピックとして作成されるため、会話の終了が推測される言葉をトリガーに動作するようです。
二つ目が、「会話の終了」という名前のトピックです。
こちらはユーザーに回答が十分であったかを尋ね、問題ない場合には満足度アンケートを実施します。
以上が満足度アンケートを行うためのトピックの動作となります。
これらのトピックはある程度のカスタマイズを行うことも可能なため、アンケートを実施しやすいように改良するのも良いと思います。
満足度アンケートの送信
それでは、実際にエージェントを利用するユーザーの画面で、アンケートを送信する流れを実践してみます。
まず、エージェントとの会話後、「質問は以上です」と送信することで「お問い合わせありがとうございました」トピックを動作させます。
トピックが動作することにより、会話を終了するか尋ねられるため「はい」を選択します。
その後、さらに「この回答でよろしいでしょうか？」と質問されます。ここではエージェントの回答により疑問が解消されたかを問われているため、再び「はい」を選択します。
会話の終了が選択されたことにより、エージェントが満足度アンケートを実施します。今回は五段階評価のうち最高評価となる"5"を選択しました。
評価を選択すると「応答がアプリに送信されました」と表示されます。以上で満足度アンケートの送信は完了となります。
送信されたアンケート結果の確認
ここからは、送信されたアンケート結果を確認する方法についてご紹介します。なお、以降の手順はエージェントの編集権限を持つアカウントでの操作を想定しています。
まずCopilot Studioで対象のエージェントの「分析」タブを開き、上部の期間を選択することで、アンケートの集計期間を指定します。
送信されたアンケート結果は「セッションのユーザー満足度」項目に表示されます。
評価"5"を一件だけ送信しているため、こちらのエージェントのアンケート満足度スコアは5/5.0と表示されています。
また、「詳細を表示する」をクリックすることで、時系列ごとのアンケート結果が確認できます。グラフによって可視化されているため、期間による変化が分かりやすくなっています。
トピックのカスタマイズ
最後に、アンケートを実施しやすくするカスタマイズについてご紹介します。今回ご紹介する方法は一例となりますので、実際には皆様の使いやすい方法を試していただければと思います。
実践したカスタマイズの内容ですが、ユーザーから"満足度アンケート"と送信された際に動作する「満足度アンケート」という名前のトピックを新規で作成しました。
また、該当の内容を送信しやすいように推奨プロンプトも作成しました。
この状態でエージェントを利用したところ、想定通りに満足度アンケートが表示されました。推奨プロンプトを作成したことで対象のトピックも動作させやすくなっています。
利用シーンとメリット、注意点
利用シーン
- ユーザーの満足度を確認したいとき
- ユーザー満足度の変化を把握したいとき
- カスタムエージェントのトピックに満足度評価を組み込みたいとき
メリット
- エージェントが効果的であるか判断できる
- 分析画面から確認でき、エージェントの評価や改善が容易
- 事前にテンプレートが作成されており、すぐにアンケート機能を利用可能
注意点
- アンケート結果の反映には時間がかかることがある
- 和訳の影響により、事前作成されたトピック内のメッセージの意味が分かりづらい
- ユーザーの操作次第で、アンケート実施トピックの動作に至らない場合もある
ただし、トピック内の各種メッセージは手動で書き換えることができます。
また、トピックの内容をカスタマイズすることで、アンケートを実施しやすく工夫することは可能です。
まとめ
本記事では、エージェントのユーザー満足度を確認する方法についてご紹介しました。
アンケート機能自体はエージェントを作成するタイミングで自動的に実装され、すぐに利用を開始することができます。また、トピックやエージェント自体をカスタマイズすることで、より使いやすく改善することも可能となっています。
前編の記事にてご紹介したフィードバック機能と併せてユーザーの満足度を確認することで、エージェントの評価・改善の手助けになりますと幸いです。
おまけ（Copilot Chatによる本記事の要約）
本記事では、Microsoft Copilot Studio に標準搭載されている「満足度アンケート機能」の概要と使い方を紹介しています。エージェント作成時に自動生成されるトピックによって、ユーザーは会話終了時に五段階評価のアンケートを回答できます。
アンケートは「お問い合わせありがとうございました」→「会話の終了」という2つのトピックが順に動作することで実施されます。送信された評価は「分析」タブで確認でき、期間指定やグラフで変化を把握できます。
また、アンケートを呼び出しやすくするためのカスタマイズ例として、専用トピックの追加や推奨プロンプトの設定方法も紹介されています。
メリットは、エージェント改善に役立つ点やテンプレートによりすぐ利用できる点。注意点としては、結果反映の遅延や和訳のわかりづらさが挙げられます。
宅見 健太朗（日本ビジネスシステムズ株式会社）
Data&AIプラットフォーム部に所属。生成AIやCopilotをメインに扱いつつ、最近はPythonを用いたコード開発にも挑戦しています。
担当記事一覧