2. 確率的表現を用いた実世界／仮想世界融合プラットフォーム（確率的デジタルツイン）に関する研究

2.1. 確率モデルによる実世界状態表現と実世界／仮想世界インタラクションに関する研究

2.1.1. 脳の情報処理機構に着想を得たマルチモーダルオブジェクト認識技術の開発（NEC B5G協働研究所の成果）

　センサ機器やエッジIoTシステムを通じて、実世界のさまざまな物体を瞬時に識別し、その位置を特定し、仮想世界上に表現する、デジタルツインの実現が望まれている。近年、CNN（畳み込みニューラルネットワーク）などの機械学習分野の発展が目覚ましく、映像解析の分野では高い認識率が達成されている。しかしながら、エッジコンピュータのように、計算資源が限られている場合は、リアルタイムかつ高精度に物体認識を行うことは非常に困難である。また、センサ機器から得られる情報の不確かさに起因する認識率の低下を解決することも重要な課題となる。

　不確実な観察情報に基づいて判断を行うシステムの身近な例として、人の脳がある。近年、脳の情報処理機構を数理的にモデル化する研究が進められており、その一つに、ベイジアンアトラクターモデル（BAM）がある。BAMでは観測情報に基づいた人の意思決定過程がモデル化されている。また、人の脳では、視覚や聴覚といった複数のモダリティから得た情報を適切に統合する機能がある。この知覚過程をモデル化したベイズ型因果推論（BCI）を用いてBAMを拡張することで、マルチモーダルな観測情報に基づく意思決定過程モデルを構築した。構築したモデルを用いた物体認識手法では、ノイズの多く含まれる情報からも83.2%以上の精度で物体認識が可能であり、評価環境において60fpsの動画像にも適用可能であることを示した。さらに、映像に含まれる複数の物体を認識する際に、それらの持つ空間的な既知情報に基づく制約（例えば同じ物体は１つまでしか存在しない）を与えることで、認識精度を向上できることを示した。

[関連発表論文]

2.1.2. ロボット制御のための時空間確率モデルによる実世界予測と制御に関する研究（NEC B5G協働研究所の成果）

　移動ロボットは障害物との衝突を避けながら、要求されたタスクを行うような制御をする必要がある。しかしながら、移動ロボットの作業領域内には、他のロボットや人といた移動する障害物も存在する。そのような障害物との衝突をさけつつ、効率的な制御を行うためには、各時刻の障害物の位置を予測することが重要である。

　ただし、将来の障害物の位置は、正確に予測できるとは限らない。そのため、我々は、将来の障害物の位置を、確率として把握し、それにより、障害物が存在する時空間上の領域を避けるような移動ロボットの制御を実現することを目指している。本研究では、時空間上の各点の障害物の有無の関係を、条件付確率場としてモデル化を行い、逐次、新たに領域内をセンシングして得られた情報をもとに、モデルの更新を行うことにより、時空間上の各領域の障害物が存在する確率を予測する手法について提案し、ロボット制御に用いることにより、その有効性の確認を進めている。また、ロボットの制御に活用するためには、時々刻々の状況の変化をリアルタイムに反映した、精度のよい予測が必要となる。このため、我々は、時空間の障害物の予測モデルをエッジ・クラウドで連携して更新することにより、リアルタイムに観測情報を反映した予測を行う手法の検討を進めている。

[関連発表論文]

2.2. 3次元点群データを用いた実空間確率場表現とC-V2Xシステムへの応用に関する研究

2.2.1. ３次元点群データを用いた実空間確率場表現に関する研究

　近年、IoT（Internet of Things）やVR（Virtual Reality）の進展を背景に数多くの新しいアプリケーションやサービスが登場し情報ネットワークは急激に変化している。新しいアプリケーションやサービスの例として、センシングデータをもとに実空間で生じている事象を分析・把握し、新たなサービスを提供する実世界センシングの検討も進められている。しかし、エンド端末とデータセンターが地理的に離れることや、大量のデータがデータセンターに集中することで、遅延が増大する。このような問題に対応すべく、ネットワークそのものに柔軟性を持たせる一つの方法として、地理的な遅延の解消および負荷の分散によるアプリケーションやサービスに対する応答性向上を期待するエッジコンピューティング（EC：Edge Computing）の導入が進められている。

　本研究では、センシングデータとして３次元点群データに着目し、少量のデータから遠隔地の実空間理解のための確率場表現とエッジコンピューティングによる分析処理による応用に取り組んでいる。確率場表現とは、実空間にある物体を一意に識別し確定的に場ではなく、物体カテゴリーの確率的な重ね合わせによって表現される場であり、実空間の３次元点群データと、実空間上の物体の確度によって構成される。確率場表現によって、例えば機械学習における識別精度向上に活用する、もしくは、遠隔地の実空間情報が欠落した際のデータ補完に活用することができる。そのために、屋内空間を測定した３次元点群データのデータセットを用いて実空間上に存在する物体の位置関係に基づく物体隣接関係の相関を統計的に求め、実空間を確率的な場として表現した。また、屋外空間を測定した３次元点群データのデータセットであるnuScenesを用いて、物体の隣接関係に関する空間知識情報を獲得した。また、時間的関係性から、物体の時間的知識情報を獲得した。これらの知識情報に基づいてベイズ推定を適用し、物体の識別確度の改善を図るベイズ推定手法を考案し、その有効性を評価した。その結果、機械学習法を用いた際に得られる予測精度75.7%に対し、ベイズ推定手法による改善によって予測精度が86.4%に向上することがわかった。また、ベイズ推定によって実空間の物体の尤度を向上させ、確率的な場としての確度を向上させた。

物体隣接関係の例
[関連発表論文]

2.2.2. 実空間確率場表現を利用したVRストリーミング方式に関する研究

　実空間の３次元点群データと実空間上の物体の確度によって構成される確率的な場の情報を、ネットワークを介して送受信するストリーミング方式を実装した。実装にあたっては、３次元点群ストリーミングに関する既存の実装を拡張し、点群データの末尾に各点に対する属性情報を付与し転送している。次に、属性情報のストリーミングによるネットワーク型VRアプリケーションを開発し、確率的な場の表現の有意性を検証した。アプリケーションでは、点群に対応する物体の確からしさを属性情報として付与し、ネットワークを介して伝達する。受信者は属性情報を参照し、物体の確からしさが低い場合には、その点に対して精緻なレンダリングを行っている。アプリケーションを実行した結果、物体が重なる領域の確からしさが低下し、精緻なレンダリングによってアプリケーション操作者が物体を識別可能であることがわかった。その一方で、処理遅延の増大によってストリーミング時のフレームレートが低下することもわかった。

属性情報ストリーミングによるネットワーク型VRアプリケーションの実行例
[関連発表論文]

2.2.3. C-V2Xシステムを対象とした３次元点群データに基づく実空間表現に関する研究

　本研究ではC-V2Xシステムを対象として、複数の情報源から送られる３次元点群データを集約し衝突検知や進路決定、および、車両トラッキングへの応用を図っている。本研究では、車や歩行者などの動的情報と車線情報や構造物などの静的情報に加え、移動する可能性のある物体である準動的情報を抽出する手法を考案した。本手法は、複数の３次元点群データと事前に用意される静的情報から位置合わせを行い、ワールド座標で表現されたマップに投影している。キャンパス内の交差点の点群データを取得し、複数の情報源の点群データとして扱い本手法を適用した結果、動的情報の速度・方向抽出と準動的物体の抽出が可能であることがわかった。また、位置合わせ誤差の平均が4cmであることもわかった。

[関連発表論文]