3. 確率的表現を用いた実世界／仮想世界融合プラットフォーム（デジタルツイン）に関する研究

3.1. 確率的デジタルツインによる実世界状態表現と実世界／仮想世界インタラクションに関する研究

3.1.1. 脳の情報処理機構に着想を得たマルチモーダルオブジェクト認識技術に関する研究（NEC B5G協働研究所の成果）【2.1.1項再掲】

　Beyond 5G/6Gにおいては、膨大な数のセンサ機器（IoT 機器）の接続をサポートするMassive Machine Type Communications (mMTC) の要件が着目されている。センサから得られる情報の応用例として、実世界のさまざまな物体を瞬時に識別し、その位置を特定し、仮想世界上に表現する、デジタルツインの実現が望まれている。近年、CNN（畳み込みニューラルネットワーク）などの機械学習分野の発展が目覚ましく、映像解析の分野では高い認識率が達成されている。しかしながら、エッジコンピュータのように、計算資源が限られている場合は、リアルタイムかつ高精度な物体認識を常に提供することは非常に困難である。また、センサ機器から得られる情報の不確かさに起因する認識率の低下を解決することも重要な課題となる。

　不確実な観察情報に基づいて判断を行うシステムの身近な例として、人の脳がある。近年、脳の情報処理機構を数理的にモデル化する研究が進められており、その一つに、ベイジアンアトラクターモデル（BAM）がある。BAMでは観測情報に基づいた人の意思決定過程がモデル化されている。また、人の脳では、視覚や聴覚といった複数のモダリティから得た情報を適切に統合する機能がある。この知覚過程をモデル化したベイズ型因果推論（BCI）を用いてBAMを拡張することで、マルチモーダルな観測情報に基づく意思決定過程モデルを構築した。センサとして、3Dカメラ（RGB＋Depth）、LiDAR、ミリ波5Gアンテナを用いてデータを取得し、映像、位置に関する特徴量抽出を行い、得られた結果をマルチモーダル統合する手法によって、物体ラベルおよび位置の認識の誤り率を抑制可能であることを示した。また、認識結果を用いることで、搬送ロボットの安全な制御の実現について検討を行った。

[関連発表論文]

3.1.2. 能動推論を用いた観測・制御ループ統合型ビームフォーミング制御に関する研究【2.1.3項再掲】

　近年、電波による無線通信とセンシングを統合的に制御するIntegrated Sensing and Com-munication (ISAC)が注目されている。ISACでは同一周波数・同一ハードウェアを用いてセンシングと通信を同時に行う。従来のISACでは、センシングのアプリケーションと通信のアプリケーションは異なるものと想定されている。本研究では、センシング情報を通信におけるビームフォーミング制御に活用することで、センシングと統合されたビームフォーミング制御の実現を目指している。この統合のためには、常に変動する電波環境の中で、センシングによって環境の情報を正確に把握することによる間接的な制御性能の利得と、センシングのリソースを通信側に割くことによる直接的な制御性能の利得の双方を考慮した意思決定が必要となる。人の意思決定においても、状況を正確に知るための行動を行いながら行動の決定が行われるという能動推論が常に行われている。我々は、脳の能動推論との類似性に着目し、能動推論を応用することで、センシングと統合されたビームフォーミング制御を提案している。本研究では、受信電波強度のフィードバックをセンシング情報として、送信側でビームを能動推論により選択することで、環境変動に追随してビーム選択が可能であることを示した。また、受信電波の到達時間、反射電波の到達時間を用いた端末の位置推定をセンシング情報に加えたビームフォーミング制御への拡張も行なっており、位置情報を利用することでよりスループットの高いビーム制御が可能であることを示した。さらに計測用のドローンを利用して能動的に電波環境をセンシングすることで、人の動きに先立って適切なビームフォーミングを行うことが可能であることを示した。

[関連発表論文]

3.1.3. 能動推論を用いた物理空間状態の実時間把握に関する研究【2.1.5項再掲】

　CPS においては物理空間を正確に把握し、仮想空間に多くの情報を集積することが求められる。しかしながら、物理空間の情報は過去情報を含めると膨大な情報量となり、仮想空間上において情報が欠損することが不可避である。そのため欠損した情報を CPS 上に存在する情報などの利用によって補う欠損情報の補間や、情報が不足している領域を能動的にセンシングすることによる欠損補填を行うことが必要となる。

　以下の研究では、仮想空間上における欠損情報の補間や欠損補填を行うために物理空間にセンシングを適切に働きかけることを目標として、複数の可動式カメラによる人物探索を題材とし、能動推論による環境の状態推論と、推論に基づく観測行動の実現に取り組んでいる。能動推論は、情報の不確実性およびあいまいさを捉え、対象物の観測や自身の行動を推論する制御フレームワークであり、エージェントは環境の状態に対する事前の信念と観測結果を組み合わせることで環境の状態を確率的に推論し、かつ、自身の行動による確率の変化を把握することができる。複数の可動式カメラによる人物探索のユースケースにおいては、探索の対象となるターゲットは移動し続けるため、常に追跡し続けることは困難であり、ターゲットに関する情報が欠損する。そのため、ある可動式カメラでターゲットをセンシングできないときに、その位置を推論し、他の可動式カメラの捕捉範囲を制御することで、ターゲットをより効率的に捕捉することが期待できる。シミュレーションを用いた評価の結果、能動推論を利用しない場合に比べて、ターゲットの交差点における移動方向に一定の傾向がある場合に捕捉割合が向上することがわかった。これは、能動推論によって移動の傾向を把握しながら探索していることによるものである。また、移動方向が無作為である時は、能動推論を用いない場合と同等の捕捉割合となることも明らかとなった。

人物探索システムの概要図（再掲）
[関連発表論文]

3.2. 確率的デジタルツインによるロボット制御に関する研究

3.2.1. 能動推論の搬送ロボット制御への適用に関する研究【2.1.4項再掲】

　搬送ロボットを作業者がいる環境にも配置するなど、活用範囲を広げるためには、倉庫内の作業者を回避することが必要である。倉庫内においては、作業者の移動による環境変動やカメラの死角などによって作業者の位置についても不確実性が生じる。一方で、搬送ロボットにおいてはその作業効率も重要であり、不確実性に対応しつつ、安全性と効率を両立する手法が求められている。一方、不確実性のある環境下においても、生物は、周囲の情報を得るための観測と行動を行い，危険を回避することができている。このような生物の行動を説明するフレームワークとして、能動推論が提唱されている。能動推論では、観測と行動を繰り返し、自由エネルギーを最小化するように行動することを行動原理としたものである。

　そこで本研究では，能動推論の搬送ロボット制御への適用を検討している。具体的には、搬送ロボットにおける荷物の搬送先である目的地へと移動する行動と、倉庫内や自身の周囲を観測することにより倉庫内の状況を推測する過程をモデル化することにより、搬送ロボットを能動推論によって制御する。本研究では、提案手法が安全性と効率を両立できることをシミュレーションによる実験により示している。

[関連発表論文]

3.3. パーソナルデジタルツインを用いたデジタル・ウェルビーイング空間の実現に関する研究

3.3.1. ウェルビーイング空間制御手法に関する研究（ダイキン工業株式会社との共同研究）

　近年の我々を取り巻く労働環境は見直されつつあり、個人のワークライフバランスに寄り添った働き方が推奨されている。しかしながら、限界生産性向上による労働時間の短縮は、単位時間当たりで見れば労働者のストレスを高める可能性があり、個人がストレスなく伸び伸びと過ごしている状態（ウェルビーイング）をかえって損ねてしまう可能性がある。

　一般に、精神的に負荷のかかる状態においては、ある種の生体反応が現れることが知られており、ウェアラブルセンサーを用いることにより得られる生体情報から精神的な負荷状態を推定することが可能である。我々の研究グループでは、ゆらぎ学習に対してマルチモーダル統合処理を組み合わせた新たな手法を提案しており、これにより、個人差を捉えたストレスの推定が可能であることが確認できている。この手法をもとに、本研究ではウェアラブルセンサーによって個人から取得した生体情報に基づき、その人の心理的状態を推定し、その推定結果に応じて空調機器を制御して精神的負荷を和らげるための空間 (ウェルビーイング空間) を実現する。本研究では、部屋の温湿度の変化に対するストレス/非ストレス状態を推定し、推定結果に基づき空調機器の制御をリアルタイムに行う手法の提案と評価、複数アクチュエータにより個人ごとに適切な制御を実現するためのフィードバック機能の実現を行った。提案した手法を実装し、小規模な検証を通して、温熱的快適性の向上が可能であることを示した。

[関連発表論文]

3.3.2. 作業内容・作業環境による人の状態変化をとらえたパーソナルデジタルツインの構築に関する研究

　人間の心身の状態は、健康や労働生産性，運転中の事故率などに影響を及ぼす。その中でも、快・不快や覚醒度は重要な指標であり、適切な環境の提供のためには、これらの状態を推定・予測するモデルが求められる。従来、快・不快や覚醒度についてのモデル化や状態推定に関しては研究されている。しかしながら、快・不快や覚醒度といった人の状態は、作業内容や作業をする室内環境の影響を受け、また、その影響の与え方も個人差があると考えられる。

　そこで本研究では、室内環境や作業内容の影響を考慮した状態遷移モデルを個人ごとに構築することを目指した研究を進めている。本研究では、様々な温度環境において、乱数を書き写すという単純作業からパズルを解くといった作業まで、様々な作業を被験者に行ってもらいつつ、生体情報を取得する実験を行った。そして、実験中の被験者の状態変化をモデル化した。その結果、構築したモデルにより、熱い部屋では不快・非覚醒の状態に遷移しやすいなどの環境による状態変化の再現や、個人によって同一の環境や作業内容であっても、遷移しやすい状態が異なるなどの個人差を再現することができることを確認している。

[関連発表論文]

3.3.3. 認知バイアスを考慮した人の温熱感覚の推定に関する研究

　近年、労働環境の改善やライフワークバランスの向上が求められる中、労働時間の短縮によって労働生産性を高める一方、労働者のストレス増大が懸念される。こうした状況下では、ストレス軽減策の一環として、人が快適に過ごせるウェルビーイング空間の確立や室内環境の改善が求められる。しかし、各個人の快適性や温熱感覚にはばらつきがあり、個々の感覚に合わせた空間制御が必要である。既存研究では、複数の属性を用いて類似した個人を特定し、温熱感覚の推定に個人差を取り入れる手法が提案されてきたが、各個人の特性を直接反映したモデル化はなされていない。また、認知バイアスに着目した研究も存在するが、個人差を考慮したものには至っていない。実際の感覚に即した空間制御を実現するためには、各人の特性や認知バイアスの個人差を反映した温熱感覚の推定が不可欠である。温熱感覚に影響を与えるバイアスの一例として、過去の経験を基準値に据え、その後の感覚が変化するアンカリングバイアスがある。本研究では、各個人の特性を踏まえた上で、アンカリングバイアスの個人差を組み込むモデルの構築を目指す。具体的には、ベイズ推定を用いた意思決定モデルであるベイジアンアトラクターモデル（BAM）を基盤とし、認知バイアスを統合することで個々の認知バイアスを反映した推定を行う。これにより、各個人に適した温熱感覚の推定が可能となり、ウェルビーイング空間の実現に寄与すると期待される。具体的な手法としては、気温、心拍数、手首温度などのセンシング情報にアンカリングバイアスを組み込み、個人差を反映した推定モデルを構築した。オープンデータを用いた評価では、平均値にフィッティングした従来のモデルに比べ、推定精度が平均51.6%向上し、アンカリングバイアスを組み込まなかったモデルと比較しては平均18.3%の向上が確認された。

[関連発表論文]

3.3.4. 個人の認知バイアスを推定し支援するトレーニングシステムに関する研究

　VR (Virtual Reality)技術の向上やVR機器の普及に伴い、VRを用いたサービスへの注目が高まり、さまざまなVRサービスが新しく登場している。特に、現実世界では訓練が難しいものに対して、VR内で再現することによって、学習者がインタラクティブな体験を通して訓練を行うことができるVRトレーニングが医療や建築をはじめとする多分野において導入および普及されている。このVRトレーニングの分野では認知バイアスへの対応を試みる研究がいくつかなされている。認知バイアスは人が環境を認識し操作を行う際に避けられない事象であるが、非合理的な判断がなされるといった悪影響を及ぼす可能性がある。このような認知バイアスの影響による事故を起こさないための訓練を現実世界で行うことが高いリスクを伴う場合、仮想空間にて現実世界を再現し、認知バイアスの影響を低減できるように介入を行い、認知バイアスへの対応を支援するVRトレーニングシステムが有効である。認知バイアスへの対応を試みる先行研究では、対象の個人の特性に関係なく一律の介入を行っている。しかし認知バイアスには個人差があり、その影響や操作者の特性を無視して介入を行った場合、過剰な情報提供による混乱や不十分な支援による学習効果の低下が生じる可能性がある。そのため、システムが個人の認知バイアスの影響度を推定し、推定に基づいた適切な介入を行う必要がある。

以下の研究では、操作者の確証バイアスの影響度を推定し、その影響度を操作者自身が理解し、影響を低減できるように介入方法を変化させる介入システムを有するVRトレーニングシステムの有効性をユーザ実験によって評価した。VRトレーニングシステムとしてVR空間で重機の遠隔操作を訓練するシミュレータを実装し、確証バイアスが発生する状況下で、操作者の操作情報から操作者の確証バイアスの影響度を推定し、その影響度を低減するように介入方法を変化させる介入システムを実装する。ユーザ実験では、実装した介入システムによる介入を受けるグループと介入を受けないグループに分け、介入を受ける前後にて各被験者の操作効率を比較する。その結果、介入を受ける前後で介入なしグループと介入ありグループの操作効率の上昇率を比較し、介入ありグループの操作効率の上昇率が介入なしグループより高くなっており、個人の認知バイアスの影響度に応じた操作介入の効果があることが確認された。

個人の認知バイアスを推定し介入するVR型訓練システム
[関連発表論文]

3.4. スマートホーム環境における安全安心かつ豊かなホームオートメーションに関する研究

3.4.1. 日常生活環境におけるマルチモーダル情報を活用した心理状態推定に関する研究（NEC B5G協働研究所の成果を含む）

　スマートホームやスマート介護施設といった日常生活環境において得られるマルチモーダルな情報を統合し、心理状態を推定することで、ホームオートメーションや介護施設でのケアに活用する研究に取り組んでいる。IoTの発展によりスマートホーム等が構築され、自動制御可能な日常生活環境が構築されつつある。その中で生活する人の心理状態に寄り添ったオートメーションを実施することができれば、人々はより豊かな日常生活を送ることができる。しかし、日常生活環境であることから、心理状態を推定する一つの方法である接触型バイタルセンサの活用は、24時間の連続着用により不快感を示す可能性があり、困難である。

　そこで本研究では、発言と表情、行動、環境情報といった日常生活のマルチモーダルな観測情報を用いて心理状態を推定する取り組みを行っている。具体的には、認知症患者の発言と表情、行動、環境情報といった情報を用いたベイズ推定により不安の度合いを示すCADATY indexを推定する手法を提案した。実際の環境にて取得したデータを用いて評価を行った所、強い不穏行動の予兆となる不安状態をほぼ全て予測することを示した。

[関連発表論文]