はじめに
いよいよ4月になり新卒社員の研修準備でお忙しい方もいらっしゃるのではないでしょうか？弊社で昨年新卒研修をAIなどの技術を使い現在の課題を解決できないかという取り組みをしました。その中でやったことや分かったことを記載しています。
環境
弊社では配属部署によっても異なりますが、4月から6月を新入社員の研修期間として研修を実施しています。その期間中は人材戦略部が中心になり研修を実施し、研修内容や新しい生活への不安や悩みを日報を書いてもらい人材戦略部の社員がチェックし必要なフォローをおこなっています。
課題
社員の不安・悩みの状態をより可視化してフォローをしやすくしたい
日報やチャットなどで不安や悩み事を直接あげてくれる社員はすぐにフォローできますが、中には日報などで直接的に書いてくれない社員もおり、今回の課題は後者の社員を見つけて悩みや不安をより可視化してフォローしたいということになります。また毎年新入社員は100名以上いるので日報のチェックやフォローを担当する社員の負荷が非常に高いので、その社員の負荷を低減することも目的となります。
アプローチ
- 社員の表情から見つける
- 社員の日報から見つける
- いろいろな情報を学習させたモデルを作って見つける
上記のアプローチを実現するためにOffice365とAzureを使い以下のシステムを構築しました。
システムアーキテクチャ
社員の表情から見つける
弊社ではコロナ禍ということもあり、対面とリモートの両方で研修を行っています。新卒社員に協力してもらい終了の連絡の際に顔写真を撮って送ってもらいました。
仕組みとしてはAzure Cognitive ServiceのFace APIを利用して表情を分析しています。
FaceAPIでは以下の８つの表情と笑顔の分析できます。
Azure Cognitive Services FaceAPI
感情
- anger (怒り)
- contempt (侮蔑)
- disgust (嫌悪)
- fear (恐れ)
- happiness (幸福)
- neutral (中立)
- sadness (悲しみ)
- surprise (驚き)
笑顔
- smile (笑顔)
３か月分のデータを見るとやはり意図的に写真を撮った場合、中立に収束してしまいあまり表情だけでは判別できないことが分かりました。
社員の日報から見つける
前述のとおり、日報を書いてもらっているので書かれた内容に関して二つのAzure Cognitive Services for Languageを使い分析を行いました。
キーフレーズに関しては不安を連想させるキーフレーズの取得を期待していましたが実際に取得できたキーフレーズになります。
不安や期待など感情的な単語よりも技術的な単語の抽出が多いのでこの機能を今回の課題解決に利用するのは難しいと感じました。
次にセンチメント分析の結果が下のグラフになります。
表情よりは感情値の幅が出ています。この機能を使ってNegativeの数値が高い日報も見つけることは可能ですが、日報は人材戦略部の社員が必ずチェックしますのでNegativeの数値が高い内容の日報は人が読めばわかります。その為この機能だけでは人材戦略部の社員の負荷低減を期待することは難しいです。またNegativeの数値が高い内容が日報に書いてあればフォローできるので「より可視化してフォローをしやすくしたい」を達成するにはこの値だけでは難しいと考えます。
いろいろな情報を学習させたモデルを作って見つける
人材戦略部からのさらにフォローがあったほうが良い状況を教えてもらいそのデータを学習させてさらにフォローがあったほうが良い社員を見つけるモデルを作成しました。以下を学習データとしています。
説明変数
- 終了連絡の表情
- 終了連絡の一日の感想（気分が良い／普通／気分がすぐれない）
- 受講形態（出社／在宅）
- 日報の自由記述の感情値
- 研修への理解度の感想（理解できた／ふつう／理解できなかった）
- 研修のスピードの感想（早い／ふつう／遅い）
- 曜日
目的変数
- フォローの必要性
以下の二つのアルゴリズムを使い2つのモデルによるアンサンブル学習を実施しています。各モデルが算出したフォロースコアを比較し、数値が高いものを採用しています。
アルゴリズム1：Light GBM
アルゴリズム2：Neural Network
モデルの作成はAzure Machine Learningを利用しています。
Light GBMのスコア分布
Light GBM寄与度
Light GBMのモデルの結果を見ると研修のスピードの感想が一番高いことが分かりました。
Neural Networkのスコア分布
Neural Networkの寄与度
Neural Networkのモデルの結果を見ると月曜日の寄与度が一番高かったことがわかりました。いわゆるサザエさん症候群と呼ばれる月曜日が憂鬱ということが結果として現れた形になりました。ただしこれは新卒社員やベテラン社員かかわらないことと考えます。
モデルの評価
予測したモデルの評価は研修に参加した社員へインタビューを行いフォローがあるとさらに良かった度合いをヒアリングしモデルの予測値を比較して評価としました。
下のグラフのオレンジの線がAI予測したフォローが必要な度合いの時系列の結果です。青の線が研修に参加した社員へインタビューしてフォローがあるとさらに良かった度合いを時系列でヒアリングした結果の度合いです。
例）さらなるフォローはほとんど必要なかったと回答した社員
例）フォローがあるとさらに良かったと回答した社員
━ AIが予測したフォローが必要な度合い（1が最大）
━ 社員にインタビューしたフォローがあるとさらに良かった度合い（1が最大）
まだまだ精度に課題が残りますが、上のさらなるフォローは必要なかったと回答した社員と下のフォローがあるとさらに良かったと回答した社員を比べると後者の社員のほうが予測値も高いことが分かりました。
まとめ
表情だけや感情だけではなかなか目的が達成できないといことがわかりました。また今回使った学習データのほかにも重要なデータがある可能性があると考えています。
AI以外のところではPower Platformを使ってアプリを作成したのでAIは利用しない状況でもOffice365の製品で日報や終了連絡を簡単に作成でき業務効率をあげることが可能と考えます。
Appendix
PowerAppsで作成したアプリを紹介します。
終了連絡アプリ
研修に参加した社員が終了連絡と勤務形態の報告をするアプリです。
日報アプリ
研修に参加した社員が日報を入力するアプリです。
フィードバックアプリ
人材戦略部の社員が書かれた日報へコメントするアプリです。
上田 英治（日本ビジネスシステムズ株式会社）
エンジニアとしてインフラ構築、システム開発やIoT基盤構築等を経験し、現在はクラウドアーキテクトとして先端技術の活用提案や新規サービスの立ち上げを担当。
担当記事一覧