【Microsoft×生成AI連載】Copilot+ PCで広がるコミュニケーションの可能性 - 聴覚障がい者向けリアルタイム文字起こし利活用事例

皆様、こんにちは!今回は、普段の【Microsoft×生成AI連載】とはテイストを変え、JBSにおける取り組みについてご紹介したいと思います。

それは、最新のAI技術を搭載した「Copilot+ PC」を活用し、社内のコミュニケーションをさらに円滑にする試みです。

これまでの連載

これまでの連載記事一覧はこちらの記事にまとめておりますので、過去の連載を確認されたい方はこちらの記載をご参照ください。

blog.jbs.co.jp

Copilot+ PCとは

Copilot+ PCとは、Microsoftが新しく定義したPCカテゴリを指しており、高性能なAI専用のプロセッサであるNPUを搭載したPCとなります。

PC上で1秒間に40兆回以上のAI処理をしてくれるため、高度なAI処理をクラウドに接続することなく行うことができます。

リコールやコクリエーターなど様々なCopilot+ PC専用機能がありますが、今回の取り組みはその中の1つであるライブキャプション機能を利用した取り組みとなります。

※ Copilot+ PCの詳細は公式ホームページを参照してください。

www.microsoft.com

発端は社長への直談判?! コミュニケーション課題解決への熱意

先日、私は社長に「Copilot+ PCを活用した社内事例化を推進させてほしい」という直談判をしました。

JBSでは毎年、新年に社長から年頭所感のオンライン配信を行っています。この場でCopilot+ PCの機能を活用することで、聴覚障がいをもつ社員や英語でのコミュニケーションをメインとする社員が参加しやすくなるのではないか、というアイデアが浮かびました。

社長からは「関係各所を巻き込んで進めてほしい」との力強い言葉をもらい、この取り組みが正式にスタートすることになったのです。

なぜCopilot+ PCなのか? - 社内アンケートから見えたニーズ

この取り組みの背景には、昨年JBSで行った全社向けオンラインミーティングでのアンケート結果があります。

社員からの声の中で、聴覚に障がいのある社員への情報伝達方法に課題があることが明らかになりました。これまでも全社向けミーティングで文字起こしを試みたことはありましたが、Liveでの実運用に耐える全社共通の文字起こしの仕組み化には至っておらず、各自に委ねられている状況でした。その結果、リアルタイムでの参加が難しいという意見が寄せられていました。

そこで注目したのが、Copilot+ PCに搭載されている「ライブキャプション」機能です。これは、PCで再生されるあらゆる音声(動画、オンライン会議、マイクからの入力など)をPC上でリアルタイムで文字起こしできる優れた機能です。

この機能を活用すれば、これまで情報伝達方法において課題を感じていた社員にも、よりスムーズに情報を届けられるのではないかと考えました。

Copilot+ PCにおけるライブキャプション機能とは

Copilot+ PCのライブキャプションは、Windows 11上で動作し、PCの音声を自動で文字起こしや翻訳を行ってくれる機能です。*1

Copilot+ PCのライブキャプション機能の主な特徴です。

  • データはデバイス内で処理されるため、プライバシー面も安心
  • 44言語に対応
  • オフラインでも使用可能なので外出先でも活躍
  • 表示位置やスタイルを自在にカスタマイズでき、好みに合わせて使いこなせる

聴覚障がい者の方だけでなく、普段の会議や動画視聴にも便利できる、まさに“いつでもどこでも使える”新時代の字幕機能といえそうです。

例えば、YouTubeの動画も文字起こしが可能です。試しに、JBSのブランドムービーを使って、Copilot+ PCのライブキャプション機能を実行してみます。

www.youtube.com

実行画面のサンプルはこちらになります。

Copilot+ PCにおけるライブキャプション機能実行画面

実際に使ってみる

今回JBSの年頭所感をオンライン配信する際に、実際にCopilot+ PCを用意してライブキャプションの機能を利用した文字起こしをしながら、聴覚障がいを持った社員や英語でのコミュニケーションをメインとする社員にリアルタイムで視聴をしてもらう取り組みを行いました。

その様子を写真でご覧ください。*2

ライブキャプションを利用した年頭所感視聴場面1

ライブキャプションを利用した年頭所感視聴場面2

ライブキャプションを利用した年頭所感視聴場面3

期待以上の成果 - 高い精度とポジティブなフィードバック

実際にCopilot+ PCのライブキャプション機能を試してみたところ、期待を大きく上回る結果が得られました。

結果

  • 精度
    • 日本語:約95%
    • 英語:約85%
  • 備考
    • 他のアプリやブラウザの文字起こし機能と比較して、明らかに高い精度を実現していた
    • ただし、固有名詞(社名など)は認識が難しい場合があった
    • また、英語については、日本語からの翻訳が難しい内容の場合に精度がやや下がる傾向が見られた

利用者の感想

  • ポジティブな意見
    • 日本語、英語ともに十分な精度で内容を理解できた
    • オンライン会議や、eラーニングなどの動画コンテンツでの活用に大きな期待が持てた
    • 対面での会話や打ち合わせ、研修など、様々な場面で活用できそうだと感じた
    • これまでスマートフォンの文字起こしアプリを使っていたが、Copilot+ PCであれば、より自然な形でコミュニケーションが取れそうだと感じた
      • 会話中にスマートフォンを見ることで相手に「ちゃんと話を聞いていないのでは?」という印象を与えてしまう懸念があった
  • ネガティブな意見
    • Copilot+ PCのライブキャプション機能では、文字起こしのログが残らない点、発言者が特定できない点が課題
    • Teams会議の場合、Teamsの機能で文字起こしを行った方が、発言者が自動で表示されるため便利な面がある

このように、いくつかの課題点はあるものの、特にリアルタイムでの情報把握においては、その高い精度と利便性から、多くのポジティブなフィードバックを得ることができました。

次なるステップへ - より良いコミュニケーションを目指して

今回の取り組みはまだ始まったばかりですが、Copilot+ PCのライブキャプション機能が、社内の情報格差を解消し、より多様性のあるコミュニケーションを実現する可能性を強く感じています。

この事例が、他の企業における同様の取り組みの一助となれば幸いです。

今後も、Copilot+ PCのさらなる利活用や、このような新しい技術を活用したより良いコミュニケーションのあり方を追求し、積極的に情報発信していきたいと思います。

最後までお読みいただき、ありがとうございました。

*1:翻訳は2025/1現在は英語への翻訳のみ

*2:今回は実際の様子を確認したかったこともあり、会議室に集まってもらいました

執筆担当者プロフィール
堤 裕一

堤 裕一(日本ビジネスシステムズ株式会社)

Microsoft 365をメインに活動。FY23 Microsoft Top Partner Engineer Award - Modern Work受賞。今はCopilotにわくわく。

担当記事一覧