2. 確率的表現を用いた実世界／仮想世界融合プラットフォーム（確率的デジタルツイン）に関する研究
2.1. 確率モデルによる実世界状態表現と実世界／仮想世界インタラクションに関する研究
2.1.1. 脳の情報処理機構に着想を得たマルチモーダルオブジェクト認識技術の開発（一部、日本電気株式会社との共同研究）
センサ機器やエッジIoTシステムを通じて、実世界のさまざまなオブジェクトを瞬時に識別し、その位置を特定し、仮想世界上に表現する、デジタルツインの実現が望まれている。近年、CNN（畳み込みニューラルネットワーク）などの機械学習分野の発展が目覚ましく、映像解析の分野では非常に高い認識率が達成されている。しかしながら、エッジコンピュータの計算資源が限られた環境では、リアルタイムかつ高精度に物体認識を行うことは非常に困難である。また、センサ機器から得られる情報の不確かさに起因する認識率の低下を解決することも重要な課題となる。 不確実な観察情報に基づいて判断を行うシステムの身近な例として、人の脳がある。近年、脳の情報処理機構を数理的にモデル化する研究が進められており、その一つに、ベイジアンアトラクターモデル（BAM）がある。BAMでは観測情報に基づいた人の意思決定過程がモデル化されている。また、人の脳では、視覚や聴覚といった複数のモダリティから得た情報を適切に統合する機能がある。この知覚過程をモデル化したベイズ型因果推論（BCI）を用いてBAMを拡張することで、マルチモーダルな観測情報に基づく意思決定過程モデルを構築した。構築したモデルを用いた物体認識手法では、ノイズの多く含まれる情報からも83.2%以上の精度で物体認識が可能であり、評価環境において60 fpsの動画像にも適用可能であることを示した。
[関連発表論文]
- Ryoga Seki, Daichi Kominami, Hideyuki Shimonishi, Masayuki Murata, and Masaya Fu-jiwaka, “Realtime Object Recognition Method Inspired by Multimodal Information Pro-cessing in the Brain for Distributed Digital Twin Systems,” submitted for publication, March 2022.
- 久保 快斗, 関 良我, 小南 大智, 下西 英之, 村田 正幸, 藤若 雅也, “デジタルツイン構築のための脳の認知機構を用いたオブジェクト認識手法の実装及び評価,” 電子情報通信学会CQ研究会, March 2022.
- Ryoga Seki, “Proposal and evaluation of multi-object recognition method inspired by mul-timodal information processing in the human brain,” Master’s thesis, Graduate School of Information Science and Technology, Osaka University, February 2022.
- 久保 快斗, “デジタルツイン構築のための脳の認知機構を用いたオブジェクト認識手法の実装及び評価,” 大阪大学基礎工学部情報科学科特別研究報告, February 2022.
- 小南 大智, “脳のマルチモーダルな情報処理機構とオブジェクト認識への応用,” 大阪大学先導的学祭研究機構共生知能システム研究センター若手研究者シンポジウム, January 2022.
- Ryoga Seki, Daichi Kominami, Hideyuki Shimonishi, Masayuki Murata and Masaya Fu-jiwaka, “Object estimation method for edge devices inspired by multimodal information processing in the brain,” in Proceedings of the 2022 IEEE 19th Annual Consumer Com-munications & Networking Conference (CCNC), pp. 945–946, January 2022.
- 関 良我, 小南 大智, 下西 英之, 村田 正幸, 藤若 雅也, 野上 耕介, “脳のマルチモーダルな情報処理に着想を得た物体推定手法の提案と評価,” 電子情報通信学会技術研究報告 (CQ2021-14), vol. 121, p. 59–64, May 2021.
2.1.2. ロボット制御のための時空間確率モデルによる実世界の予測に関する研究（日本電気株式会社との共同研究）
移動ロボットは障害物との衝突を避けながら、要求されたタスクを行うような制御をする必要がある。しかしながら、移動ロボットの作業領域内には、他のロボットや人といた移動する障害物も存在する。そのような障害物との衝突をさけつつ、効率的な制御を行うためには、各時刻の障害物の位置を予測することが重要である。ただし、将来の障害物の位置は、正確に予測できるとは限らない。そのため、我々は、将来の障害物の位置を、確率として把握し、それにより、障害物が存在する時空間上の領域を避けるような移動ロボットの制御を実現することを目指している。本研究では、時空間上の各点の障害物の有無の関係を、条件付確率場としてモデル化を行い、逐次、新たに領域内をセンシングして得られた情報をもとに、モデルの更新を行うことにより、時空間上の各領域の障害物が存在する確率を予測する手法について提案し、ロボット制御に用いることにより、その有効性の確認を進めている。
[関連発表論文]
- 大下 裕一, 安田 真也, 熊谷 太一, 吉田 裕志, 金友 大, 村田 正幸, “時空間確率モデルに基づく移動ロボット制御のための障害物位置推定・予測手法,” 電子情報通信学会技術研究報告, March 2022.
2.2. 三次元点群データを用いた実空間確率場表現に関する研究
2.2.1. 次元点群データを用いた実空間確率場表現に基づく物体推定手法
近年、IoT (Internet of Things)やVR (Virtual Reality)の進展を背景に数多くの新しいアプリケーションやサービスが登場し情報ネットワークは急激に変化している。新しいアプリケーションやサービスの例として、センシングデータをもとに実空間で生じている事象を分析・把握し、新たなサービスを提供する実世界センシングの検討も進められている。しかし、エンド端末とデータセンターが地理的に離れることや、大量のデータがデータセンターに集中することで、遅延が増大する。このような問題に対応すべく、ネットワークそのものに柔軟性を持たせる一つの方法として、地理的な遅延の解消および負荷の分散によるアプリケーションやサービスに対する応答性向上を期待するエッジコンピューティング (EC: Edge Computing)の導入が進められている。 本研究では、センシングデータとして3 次元点群データに着目し、少量のデータから遠隔地の実空間理解のための確率場表現とエッジコンピューティングによる分析処理による応用に取り組んでいる。確率場表現とは、実空間にある物体を一意に識別し確定的に場ではなく、物体カテゴリーの確率的な重ね合わせによって表現される場であり、例えば機械学習における識別精度向上に活用する、もしくは、遠隔地の実空間情報が欠落した際のデータ補完に活用することができる。以下の論文では、屋内空間を測定した 3 次元点群データのデータセットを用いて実空間上に存在する物体の位置関係に基づく物体隣接関係の相関を統計的に求め、実空間を確率的な場として表現した。下記の図は、その一例であるが、sink とcounter とcabinet の隣接（領域c）、desk とchair の隣接（領域d）、ユニットバスでのcabinet とtoilet とbathtub とshower curtain の隣接（領域e）など、我々が生活を営む上での隣接情報に関する知識情報が現れていることがわかる。約1500 室の屋内空間データを用いた数値計算によって、例えばデスクが椅子と隣接する確率は 38.9%、冷蔵庫がバスタブと隣接する確率が 0%となる有意な確率場表現を獲得した。さらに、確率場表現の利用例として、3次元点群データの取得の際に障害物などによって取得できなかった欠落箇所の物体推定、および、機械学習による識別の精度改善を提示し、確率場表現の有効性を評価した。その結果、欠落箇所の物体推定の正解率が平均で 71.2%となることがわかった。また、機械学習による識別の精度改善例として、点群データに対するセマンティックセグメンテーションによる識別結果に対して、確率場表現にもとづくベイズ推定による識別確度の改善を図った。その結果、セマンティックセグメンテーションによる識別確度が 50%程度となる物体について、識別確度が 平均で80%に向上することがわかった。
[関連発表論文]
- 佐藤 広章, 荒川 伸一, 村田 正幸, “実空間確率場表現に基づく三次元点群物体の推定手法の提案と評価,” 電子情報通信学会技術研究報告 (CQ2021-83), vol. 121, pp. 39–44, January 2022.
- 赤坂 友輝, “VRサービスにおけるインタラクティブ性を向上するエッジクラウド連携手法の提案と評価,” 大阪大学基礎工学部情報科学科特別研究報告, February 2022.