3. 確率的表現を用いた実世界／仮想世界融合プラットフォーム（確率的デジタルツイン）に関する研究

3.1. 確率的デジタルツインによる実世界状態表現と実世界／仮想世界インタラクションに関する研究

3.1.1. 脳の情報処理機構に着想を得たマルチモーダルオブジェクト認識技術に関する研究（NEC B5G協働研究所の成果）【2.1.1項再掲】

　Beyond 5G/6Gにおいては、膨大な数のセンサ機器（IoT 機器）の接続をサポートするMassive Machine Type Communications (mMTC) の要件が着目されている。センサから得られる情報の応用例として、実世界のさまざまな物体を瞬時に識別し、その位置を特定し、仮想世界上に表現する、デジタルツインの実現が望まれている。近年、CNN（畳み込みニューラルネットワーク）などの機械学習分野の発展が目覚ましく、映像解析の分野では高い認識率が達成されている。しかしながら、エッジコンピュータのように、計算資源が限られている場合は、リアルタイムかつ高精度な物体認識を常に提供することは非常に困難である。また、センサ機器から得られる情報の不確かさに起因する認識率の低下を解決することも重要な課題となる。

　不確実な観察情報に基づいて判断を行うシステムの身近な例として、人の脳がある。近年、脳の情報処理機構を数理的にモデル化する研究が進められており、その一つに、ベイジアンアトラクターモデル（BAM）がある。BAMでは観測情報に基づいた人の意思決定過程がモデル化されている。また、人の脳では、視覚や聴覚といった複数のモダリティから得た情報を適切に統合する機能がある。この知覚過程をモデル化したベイズ型因果推論（BCI）を用いてBAMを拡張することで、マルチモーダルな観測情報に基づく意思決定過程モデルを構築した。

　3Dカメラ（DepthセンサとRGBカメラ）から撮影した映像を分析し、映像・位置に関する特徴量を抽出し、認識した結果をマルチモーダル統合する手法によって、認識誤り率の低下を抑制可能であることを示した。また、LiDARを用いて取得した点群を分析し、物体の三次元座標位置に関する特徴量を抽出し、前述のマルチモーダル認識手法に組み込んだ。これにより、認識精度の向上が実現できることを示した。さらに、映像に含まれる複数の物体を認識する際に、それらの持つ時空間的な情報に基づく制約（例えば同じ物体は１つまでしか存在しない）を与えることで、認識精度を向上できることを示した。

[関連発表論文]

3.1.2. 能動推論を用いた物理空間状態の実時間把握に関する研究【2.1.5項再掲】

　CPS においては物理空間を正確に把握し、仮想空間に多くの情報を集積することが求められる。しかしながら、物理空間の情報は過去情報を含めると膨大な情報量となり、仮想空間上において情報が欠損することが不可避である。そのため欠損した情報を CPS 上に存在する情報などの利用によって補う欠損情報の補間や、情報が不足している領域を能動的にセンシングすることによる欠損補填を行うことが必要となる。

　以下の研究では、仮想空間上における欠損情報の補間や欠損補填を行うために物理空間にセンシングを適切に働きかけることを目標として、複数の可動式カメラによる人物探索を題材とし、能動推論による環境の状態推論と、推論に基づく観測行動の実現に取り組んでいる。能動推論は、情報の不確実性およびあいまいさを捉え、対象物の観測や自身の行動を推論する制御フレームワークであり、エージェントは環境の状態に対する事前の信念と観測結果を組み合わせることで環境の状態を確率的に推論し、かつ、自身の行動による確率の変化を把握することができる。複数の可動式カメラによる人物探索のユースケースにおいては、探索の対象となるターゲットは移動し続けるため、常に追跡し続けることは困難であり、ターゲットに関する情報が欠損する。そのため、ある可動式カメラでターゲットをセンシングできないときに、その位置を推論し、他の可動式カメラの捕捉範囲を制御することで、ターゲットをより効率的に捕捉することが期待できる。シミュレーションを用いた評価の結果、能動推論を利用しない場合に比べて、ターゲットの交差点における移動方向に一定の傾向がある場合に捕捉割合が向上することがわかった。これは、能動推論によって移動の傾向を把握しながら探索していることによるものである。また、移動方向が無作為である時は、能動推論を用いない場合と同等の捕捉割合となることも明らかとなった。

人物探索システムの概要図（再掲）
[関連発表論文]

3.2. 確率的デジタルツインによるロボット制御に関する研究

3.2.1. ロボット制御のための時空間確率モデルによる実世界予測に関する研究（NEC B5G協働研究所の成果）

　移動ロボットは障害物との衝突を避けながら、要求されたタスクを行うような制御をする必要がある。しかしながら、移動ロボットの作業領域内には、他のロボットや人といた移動する障害物も存在する。そのような障害物との衝突をさけつつ、効率的な制御を行うためには、各時刻の障害物の位置を予測することが重要である。

　ただし、将来の障害物の位置は、正確に予測できるとは限らない。そのため、我々は、将来の障害物の位置を、確率として把握し、それにより、障害物が存在する時空間上の領域を避けるような移動ロボットの制御を実現することを目指している。本研究では、時空間上の各点の障害物の有無の関係を、条件付確率場としてモデル化を行い、逐次、新たに領域内をセンシングして得られた情報をもとに、モデルの更新を行うことにより、時空間上の各領域の障害物が存在する確率を予測する手法について提案し、ロボット制御に用いることにより、その有効性の確認を進めている。また、ロボットの制御に活用するためには、時々刻々の状況の変化をリアルタイムに反映した、精度のよい予測が必要となる。このため、我々は、時空間の障害物の予測モデルをエッジ・クラウドで連携して更新することにより、リアルタイムに観測情報を反映した予測を行う手法の検討を進めている。

[関連発表論文]

3.2.2. ロボット・動的障害物間のインタラクションを考慮した移動ロボット制御に関する研究

　近年、さまざまな場面でロボットの導入が進んでおり、物流倉庫や工場などの環境でも自律移動ロボットが導入され、作業効率の向上が期待されている。倉庫のような環境では、壁や棚などの静的な障害物だけでなく、人や他のロボットなどの動的な障害物も存在する。ロボットはそのような障害物との衝突をさけつつ、効率的な動作が必要となる。

　従来、ロボットの安全性の確保は、ロボットの動作と移動障害物の動作が独立していると仮定した上での予測をもとに、衝突の可能性がある場合は、ロボットを減速させるか停止することにより回避するといった制御により行われてきた。しかしながら、現実では人などの動的障害物の行動もロボットの動きの影響を受け、ロボットを回避するなどの行動をとることが考えられる。このようなロボットと動的障害物間のインタラクションを考慮することにより、通路で離合するなどの行動が可能となり、衝突の可能性を避けつつも効率的な移動ロボットの制御が可能となる。一方で、動的障害物が必ずしも、同様の回避行動をとるとは限らない。

　そのため、我々は、移動ロボットの制御において、近隣の動的障害物の挙動を観測し、回避行動の傾向を推測、障害物の回避行動を考慮に入れてロボットの制御を行う手法について検討を進めている。

[関連発表論文]

3.2.3. 能動推論の搬送ロボット制御への適用に関する研究【2.1.4項再掲】

　近年、自律走行を行うことができるロボットが多く開発され、工場や物流倉庫内で多く活用されている。これらのロボットが動作する環境においては、荷物が一時的に置かれる等、各地点の状況は時間帯によって大きく変わる。さらには、倉庫内には作業員や他のロボットも存在し、それらとの衝突を避けつつ、ロボットによる作業を効率的に行うためには、倉庫内の不確実な状況を把握しながら、衝突のリスクを回避し、可能な限り望ましい状況となるようにロボットを制御することが必要となる。

　我々は、このような不確実な状況下でのロボット制御を能動推論に基づいて行う手法の確立に向けた研究を進めている。能動推論は、我々の脳が常に予測を行い、観測とのずれが小さくなるように予測モデルの更新や行動を行うプロセスである。能動推論では、情報がなく状況を特定できていない状況から、観測と行動を繰り返し、自由エネルギーを最小化する状態が移るべき状態とし行動する。倉庫内でのロボットの動作における、壁や棚，倉庫内で働く作業者などの障害物の回避しつつ、目的となる動作を行う行動についても、状況が不明であるという情報がない状態から，探索と状況の観測を繰り返し目的地という望ましい場所へと移動を行うという解釈ができ、能動推論に基づくことで、適切なロボットの行動を決定できる可能性がある。

　我々は、特に、周囲の状況を観測するようなセンサをつけた倉庫内で荷物を搬送するロボットにおける、倉庫内の状況把握しつつ荷物の搬送を行うための制御を例として、ロボット制御への能動推論の適用の検討を進めている。

[関連発表論文]

3.3. スマートホーム環境における安全安心かつ豊かで質の高いホームオートメーションの為のマルチモーダル感情推定の活用

3.3.1. 認知症患者の日常生活の様子から認知症患者の心理状態を推定する指標の提案（NEC B5G協働研究所の成果）

　認知症患者は, 記憶や将来に対する心配や不安を常に抱えながら生活をしている。これらの不安は認知機能の低下に起因するものであり、不安が募っていくことで、不穏（落ち着きがなくなり興奮した状態）や行動・心理症状（Behavioral and Psychological Symptoms of Dementia: BPSD）を引き起こす。

　本研究では、このような認知症患者の不安感情の強さおよび不穏の強さを、日常生活の様子から推定する指標としてCaregivers Assess Dementia's Anxiety designed by Tsuji and Yamauchi (CADATY) indexを考案している。これは、対象の認知症患者の普段の様子についてよく観察している親族や友人、介護職員等が、認知症患者の発言や表情、行動といった日常の様子から、対象者の不安および不穏度合いについて点数化し評価する指標である。また, 介護者によるケアが必要な度合いと言い換えることもでき、指標に応じて不安が募り不穏が見られる前の段階で適切なケアを実施することで、認知症患者の方の負担軽減や生活の質の向上とともに、介護に慣れていない介護士や自宅介護を行っている家族の負担を減らすことができると期待している。CADATY indexでは、不安感情の強さを、0をニュートラルな状態として、少し不安を抱えている状態を-1, 強い不安を感じている状態を-5として, 段階的に評価する。一方, プラスの値は安寧な感情を表し, +1から+5へと段階的に強くなるものとしている. 現在はデータの収集を継続し、より定量化された指標とすることを目指している。

[関連発表論文]

3.3.2. 日常生活環境における認知症患者のマルチモーダル情報を活用した不安度合いの推定に関する研究（NEC B5G協働研究所の成果）

　認知症患者の増加に伴う親族や介護職員の介護負担増大は社会問題の一つである。認知症患者は、認知機能の低下に伴う記憶や将来に対する不安を抱えており、これらの不安が募り不穏状態や行動・心理症状（BPSD）を引き起こす。この不穏やBPSDは認知症患者を介護するうえで大きな負担の一つである。不穏やBPSDへの対応を軽減する一つの方法として、BPSDを発症する前段階である不安を感じている状態でケアを行う事が挙げられる。最近では、バイタルデータを用いたBPSDの事前予測手法がいくつか提案されているが、ウェアラブル端末を用いたバイタルデータの取得は認知症患者にストレスを与え、自身で外してしまうことが多く、継続的な計測が困難である。そのため、非接触な方法により取得できる情報から不安を推定することが望ましい。

　そこで本研究では、 認知症患者の日常生活の様子として、 認知症患者の発言と表情、行動、環境情報といった非接触で取得可能なマルチモーダルな観測情報を用いて、ベイズ推定によりCADATY indexを推定する手法を提案する。認知症患者が日常生活を送るサービス付き高齢者向け住宅で、これらの情報を記録観察し、取得したデータを用いて提案手法を評価したところ、発言、表情、行動の各モーダルが複数観測できた場合はCADATY indexの推定が可能であり、不穏予兆の検出可能性を確認した。特に、発言と行動の情報が不穏およびBPSDの予兆の検出には有効であることが分かった。また認知症患者の周囲の情報に関する情報を利用することも不穏の予兆検出には有効であった。一方で、検出できない予兆や誤検出も発生したため、今後は精度向上に向けた取り組みを行う。

[関連発表論文]