はじめに
日本マイクロソフト株式会社（以下、マイクロソフト）とソニーセミコンダクタソリューションズ株式会社（以下、ソニー）の協業の一環として設立された共同イノベーションラボにはJBSも参加しています。
マイクロソフトが提供するAzure Cognitive Service、ならびにソニーが提供するエッジAIセンシングプラットフォーム「AITRIOS™（アイトリオス）」と、ソニーが開発したインテリジェントビジョンセンサー「IMX500」を搭載のAIカメラを用い、AIソリューションの構築を行っています。
その取り組みにおいて、人や鞄などを検出し空席状況を可視化するPoCを作成したので、記事にまとめました。
PoC作成にはソニーのAITRIOSとIMX500を搭載したスマートカメラを使用しています。
AITRIOS（アイトリオス）/ IMX500とは
AITRIOSはAIカメラなどを活用したセンシングソリューションの効率的な開発・導入を可能にするプラットフォームです。
さまざまな環境やツールをワンストップで提供し、エッジとクラウドが共働したシステム構築をサポートします。
AITRIOSの詳細：AITRIOS（アイトリオス)｜エッジAIセンシングプラットフォーム - ソニーセミコンダクタソリューションズ株式会社 | ソニーセミコンダクタソリューションズグループ
インテリジェントビジョンセンサー「IMX500」は、AI処理機能を世界で初めて搭載したイメージセンサーです。
高速なエッジAI処理を可能にし、必要なメタデータのみを出力することで、データ量の削減、クラウドへのデータ転送における遅延の低減、消費電力や通信コストの削減、プライバシーへの配慮などを実現します。
AIモデル作成
今回のPoCではCustom Visionで作成した物体検出モデルを使用し、人などの物体検出を行います。
Custom Visionでは画像分類や物体検出のモデルを機械学習の専門的な知識なしで作成することができます。
Custom Visionモデル作成・精度改善
物体検出モデルのドメイン選択
Custom Visionではプロジェクトを作成する際にドメインを選択します。
利用の目的に応じて「全般」「全般[A1]」「ロゴ」「シェルブの製品」「コンパクトドメイン」から最適なドメインを選択します。
各ドメインに関しての詳細は、Custom Vision プロジェクトのドメインを選択する - Computer Vision - Azure Cognitive Services | Microsoft Docsをご参照ください。
エッジデバイスでCustom Visionのモデルを動かすためには、コンパクトのドメインを選択する必要があります。
物体検出で選択可能なコンパクトドメインは、General (compact)とGeneral (compact) [S1]の2種類あります。
2つの主な違いは、モデルの出力を後処理する必要か不要かの点です。
General (compact)では後処理ロジックが必要になり、後処理ロジックのないモデルが必要な場合はGeneral (compact) [S1]を利用します。
モデルのトレーニング
物体検出モデルトレーニングにはラベル毎に最少15枚の画像が必要になります。
モデルのトレーニングが完了すると上の図のようなモデル概要を確認することができます。
モデルの精度改善
トレーニングに使用する画像は以下のポイントを意識することで、より正確なモデルを作成することが可能です。
- データ数量
- ラベル毎に最低50枚の画像
- データのバランス
- 画像が最も少ないラベルと画像が最も多いラベルの間で少なくとも 1:2 の比率を維持
- 画像が最も少ないラベルと画像が最も多いラベルの間で少なくとも 1:2 の比率を維持
- データの多様性(背景、照明、オブジェクトサイズ、カメラアングル、スタイル)
- 背景
背景 - 照明
照明 - オブジェクトサイズ
オブジェクトサイズ - カメラアングル
カメラアングル
- 背景
- 遮りと切り取り
- 画像から部分的に切り取られているオブジェクト、画像内の別のオブジェクトによって部分的に遮られているオブジェクトを検出する場合は、そのような画像をトレーニングに使用する
(左)切り取られたオブジェクト (右)テーブルで一部遮られたオブジェクト
- 画像から部分的に切り取られているオブジェクト、画像内の別のオブジェクトによって部分的に遮られているオブジェクトを検出する場合は、そのような画像をトレーニングに使用する
詳しい内容はモデルの改善 - Custom Vision Service - Azure Cognitive Services | Microsoft Docsで確認できます。
結果の可視化
カメラで撮影した画像と推論結果を利用し、検出した物体の座標をもとに指定した座席エリアの使用状況の可視化を行います。
モデルの精度改善が足りていませんが、人や鞄などの検出を行い指定したエリア内の数をカウントしました。
テスト時に撮影した画像を使いさらにCustom Visionのモデルをトレーニングし精度改善を行おうと思います。
※ AITRIOSは、ソニーグループ（株）またはその関連会社の登録商標または商標です。
