2. 確率的表現を用いた実世界／仮想世界融合プラットフォームに関する研究
2.1. 確率モデルによる実世界状態表現と実世界／仮想世界インタラクションに関する研究
2.1.1. 脳の情報処理機構に基づく予測型ネットワーク制御技術の確立（NTT ネットワーク基盤技術研究所との共同研究）（1.3.3項再掲）
Internet of Things (IoT) デバイスなどの機器の登場とともに、ネットワークを介して提供されるサービスも多様化している。ネットワークには、各サービスが要求する品質を満たすように、各サービスのトラヒックを収容することが求められ、ネットワークスライシング技術の研究が進められている。ネットワークスライシング技術を用いることにより、ネットワークを仮想的に分割し、ネットワークスライスを構築することができる。スライス化されたネットワークでは、各ネットワークスライスへの資源割り当てが重要な課題となる。各ネットワークスライスが収容するトラヒックは、人の行動などの現実世界の状況の影響を受けて時々刻々変化するため、状況に合わせて資源不足をさけるように動的に資源割当制御を行うことが必要となる。動的な資源割当制御のためには、資源不足のリスクを把握する必要があり、資源不足のリスクの把握には、現在ネットワーク内を流れているトラヒック量のみではなく、現実世界の情報を用いることが有効であると考えられる。しかしながら、実世界情報を含む、観測情報と将来とのトラヒック量との関係は一般的にモデル化が困難であり、また、現実世界でセンシングされた情報をもちいる場合、現実世界に配置された多種多様なセンサーのすべてから、短い周期で情報を収集することは困難であると考えられる。
そこで我々は、そのように欠損をふくむ現実世界の情報をもとに資源不足のリスクを把握し、動的な資源割当を行う制御手法の検討を進めている。本検討において、我々は、人の脳が曖昧・不完全な観測情報をもとに認知を行う仕組みにもとづく手法を検討しており、本手法を用いることにより、逐次得られる情報をもとに、資源不足のリスクを判断し、適格に資源割当を行うことを確認している。
[関連発表論文]
- Yuichi Ohsita, “Application to IoT Network Control: Predictive Network Control based on Real-World Information,” Chapter 6 of Fluctuation-Induced Network Control and Learning: Applying the Yuragi Principle of Brain and Biological Systems, Springer, April 15th, 2021.
- Semin An, Yuichi Ohsita, and Masayuki Murata, “Evaluation of Network Resource Allocation Based on Monitored Traffic Condition inspired by Human Brain Cognition Process,” in Proceedings of 2020 International Conference on Emerging Technologies for Communications, December 2020.
- Yuichi Ohsita, and Masayuki Murata, “Predictive traffic engineering incorporating real-world infor-mation inspired by the cognitive process of the human brain,” in Proceedings of International Con-ference on Emerging Technologies for Communications, December 2020.
- 安世民, 大下裕一, 村田正幸, “脳の認知機能モデルに着想を得た交通流情報に基づくネットワークスライス間の資源配分制御,” 電子情報通信学会技術研究報告, March 2021.
- 大下裕一, 村田正幸, “脳の情報処理基盤にもとづく交通状況認知とネットワーク制御の連携方法に関する一検討,” 電子情報通信学会技術研究報告, March 2021.
- 大下裕一, 村田正幸, “脳の情報処理機構にもとづく車両への経路提案手法,” 電子情報通信学会技術研究報告, March 2021.
- Semin An, “Network resource allocation using real-world traffic flow information inspired by human brain cognition process,” Master’s thesis, Graduate School of Engineering, Osaka-University, January 2021.
2.1.2. 条件付確率場にもとづく時空間確率モデルによる実世界状態の推定に関する研究
近年、クラウドやエッジなどのサイバー空間でセンサーなどから収集した情報の分析を行い、その結果を実世界へフィードバックすることで社会システムの効率化を目指すサイバーフィジカルシステムが注目を浴びており、自動運転やロボットの制御などへの応用が期待されている。このような高度な制御を実現するにあたり重要な技術の一つが、デジタルツインと呼ばれる技術であるデジタルツインでは、センシングした情報をもとに現実世界を仮想的に複製することにより、現在の状況の把握から将来の予測を行う技術であり、この分析結果をもとに、車両やロボット等の制御を行うことができる。
実世界の状況の把握・推定については、その精度のみならず、リアルタイム性も重要となる。特に、車両やロボットの制御への応用においては、制御を行うタイミングにおいて、その時点の状況を把握することにより的確な制御が可能となる。多量のセンシングデータの分析は、豊富な資源が必要となるため、クラウド側で行われることが想定される。しかし、クラウド側で行ったとしても、多量のセンシングデータの処理には時間がかかる。また、ネットワーク遅延も存在し、さらに、ネットワーク帯域も限られているために、多量のセンシングデータを頻繁にクラウド側に転送することは困難であり、クラウド側でリアルタイムな実世界状況の把握は困難である。一方で、エッジ側は、クラウドのような豊富な計算機資源は持たないため、多量のセンシングデータの分析を行うことはできないが、制御対象に近いため、少ないネットワーク遅延で、かつ、ネットワークの帯域を浪費することなく、センシング情報をリアルタイムに収集することが可能である。
そこで、本研究では、リアルタイムな実世界の状況の推定をクラウド‐エッジの連携により行う手法について議論する。本手法では、時空間にわたる実世界の状況を、条件付確率場として表現し、確率場の更新や、確率場を用いた実世界の推定を行う。自動運転やロボットの制御等の応用を考えると、実世界のリアルタイムな推定は制御に必要な限られた範囲にできればよい。そのため、本研究では、リアルタイムな推定が必要となる範囲を限定することにより豊富な計算機資源をもたないエッジ側でもリアルタイムな推定を実現する手法を検討する。ただし、推定が必要となる範囲を限定した場合でも、当該範囲の状況の正確な推定には時空間上のより広い範囲の情報を用いることが必要となる。そこで、クラウド側においては、自身が持つより広範囲の情報をもちい、時空間上の各範囲の状況を推定し、その推定結果をエッジ側に送ることにより、エッジ側においてもより広い範囲の情報を用いた推定結果を反映した推定を行うことが可能となる。
[関連発表論文]
- 木村一貴, “クラウド－エッジ間連携による条件付き確率場を用いた実世界のリアルタイム推定手法,” 大阪大学基礎工学部情報科学科特別研究報告, February 2021.
2.1.3. 生理学的データのマルチモーダル統合処理による精神的な負荷の推定手法に関する研究（1.5.1項再掲）
仕事においてストレスを感じる労働者の数は多く、就労環境や精神的な負荷に基づく心理的疲労が問題となっている。短期の精神的な負荷であっても、それらを我慢し積み重なることで、長期的かつ持続性のストレスとなり、健康に深刻な影響を与えることが知られている。そのため、日ごろから心身を休ませ、精神的な負荷を軽減することが重要であると考えられ、精神的な負荷を感じた労働者に対して、即座に休息を促すことができるよう、継続的かつ自動化された精神的な負荷を検出するシステムが必要である。
一般的に精神的な負荷がかかっている状態では、交感神経が優位に働き、その結果として生体反応が生じる。このような生体反応は、ウェアラブルセンサを用いることにより得られるバイタルデータから推定することが可能である。しかしながら、これらのバイタルデータの測定には、ノイズが含まれ、ノイズを許容しながらもリアルタイムに状況判断ができる仕組みが必要である。そのようなノイズを許容しながら、リアルタイムな状況判断をする仕組みとして，我々の研究グループでは、ゆらぎ学習と呼ばれる仕組みを提案している。ゆらぎ学習は、ノイズが含まれる観測情報から逐次判断を行う脳の認知プロセスをモデル化した Bayesian Attractor Model (BAM) に基づいた認知手法であり、あらかじめ定義した選択肢のうち、現在の状態がどれに該当するのかを確信度つきで逐次求めることが可能である。
一方、ウェアラブルセンサからは、体温、皮膚電気活動、心拍といった多種のバイタルデータを観測可能であり、これらの複数の情報を組み合わせることがストレス状態の判定には有効である。そこで、本研究では、ストレス状態のリアルタイムな判定を行うために、ゆらぎ学習と複数種類のセンシング情報を統合的に扱うマルチモーダル統合処理の組み合わせについて検討を行っている。
[関連発表論文]
- 細川健, “ゆらぎ学習を用いた生理学的データのマルチモーダル統合処理による精神的な負荷の推定手法,” 大阪大学基礎工学情部報科学科特別研究報告, February 2021.
2.2. 三次元点群データを用いた実空間確率場表現に関する研究
センシングデータとして3 次元点群データに着目し、エッジコンピューティングによる分析処理を前提とするネットワーク型サービスの実装に取り組んでいる。ネットワーク型サービスとして、遠隔ショッピングサービスなど、遠隔地の情報を点群データとして取得し、ユーザが3Dオブジェクトとして実在の物体を体感するサービスを想定している。しかし、高解像度の点群データは、そのデータサイズが大きいためネットワークを介してすべての点群データを送受信することは非現実的である。そこで、少量かつ低解像度の点群データの送受信とデータ分析処理が必須となる。
2.2.1. 次元点群データを用いた実空間確率場表現に基づく物体推定手法
本研究では、まず少量のデータから遠隔地の実空間理解や情報処理を行うために、実空間の確率場表現に取り組んだ。確率場表現とは、実空間にある物体を一意に識別し確定的に場ではなく、物体カテゴリーの確率的な重ね合わせによって表現される場であり、例えば機械学習における識別精度向上に活用する、もしくは、遠隔地の実空間情報が欠落した際のデータ補完に活用することができる。本研究では、屋内空間を測定した 3 次元点群データのデータセットを用いて実空間上に存在する物体の位置関係に基づく物体隣接関係の相関を統計的に求め、実空間を確率的な場として表現した。約1500 室の屋内空間データを用いた数値計算によって、例えばデスクが椅子と隣接する確率は 38.9%、冷蔵庫がバスタブと隣接する確率が 0%となる有意な確率場表現を獲得した。さらに、確率場表現の利用例として、3 元点群データの取得の際に障害物などによって取得できなかった欠落箇所の物体推定、および、機械学習による識別の精度改善を提示し、確率場表現の有効性を評価した。その結果、欠落箇所の物体推定の正解率が平均で 71.2%となることがわかった。また、機械学習による識別の精度改善例として、点群データに対するセマンティックセグメンテーションによる識別結果に対して、確率場表現にもとづくベイズ推定による識別確度の改善を図った。その結果、セマンティックセグメンテーションによる識別確度が 50%程度となる物体について、識別確度が 平均で80%に向上することがわかった。
[関連発表論文]
- 佐藤広章, “三次元点群データを用いた実空間確率場表現に基づく物体推定手法の提案と評価,” 大阪大学基礎工学部情報科学科特別研究報告, Feb. 2021.
2.2.2. 実空間確率場表現を利用したネットワーク型仮想現実サービスのためのレンダリング手法
確率場表現された少量の点群データをVR機器に表示する情報表現に取り組んだ。まず、低解像度の点群データをVR機器で描画する際に生じる3Dオブジェクトの凹凸を軽減するレンダリング手法を用いて3Dオブジェクトの補正を試みる。ただし、レンダリング手法による点群データの補正表示をVR上の空間全体に施すと補正処理による負荷が大きくため、実空間の確率場情報を利用して一部の3Dオブジェクトの補正を行う低処理負荷のレンダリング手法を提案した。確率場情報は、点群の各点に対して識別ラベルと確度、物体インスタンス情報が付与された情報であり、点群の確度が小さい場合は識別に必要な情報が不足しているものと考えられる。提案するレンダリング手法では、確率場情報の性質にもとづき、確度が小さい3Dオブジェクトに限定した補正表示を実施し、視認性を高めている。提案レンダリング手法を実装し、VR機器を用いて3Dオブジェクトを描画した結果、23.7%の点群に対してレンダリング手法を適用することで、視認性が向上することを確認した。また、処理遅延時間は、すべての点群に対してレンダリング手法を適用する場合と比べて84.1～94.8%削減されることを示した。
[関連発表論文]
- 内田悠斗, “実空間確率場表現を利用したネットワーク型仮想現実サービスのためのレンダリング手法の提案と評価,” 大阪大学基礎工学部情報科学研究科特別研究報告, Feb. 2021.