2. 脳の情報処理機能に着想を得たネットワーク化プラットフォームに関する研究
2.1. 脳の情報処理機能のネットワーク化プラットフォームへの応用に関する研究
2.1.1. 脳の情報処理機構に着想を得たマルチモーダルオブジェクト認識技術に関する研究（NEC B5G協働研究所の成果）
Beyond 5G/6Gにおいては、膨大な数のセンサ機器（IoT 機器）の接続をサポートするMassive Machine Type Communications (mMTC) の要件が着目されている。センサから得られる情報の応用例として、実世界のさまざまな物体を瞬時に識別し、その位置を特定し、仮想世界上に表現する、デジタルツインの実現が望まれている。近年、CNN（畳み込みニューラルネットワーク）などの機械学習分野の発展が目覚ましく、映像解析の分野では高い認識率が達成されている。しかしながら、エッジコンピュータのように、計算資源が限られている場合は、リアルタイムかつ高精度な物体認識を常に提供することは非常に困難である。また、センサ機器から得られる情報の不確かさに起因する認識率の低下を解決することも重要な課題となる。
不確実な観察情報に基づいて判断を行うシステムの身近な例として、人の脳がある。近年、脳の情報処理機構を数理的にモデル化する研究が進められており、その一つに、ベイジアンアトラクターモデル（BAM）がある。BAMでは観測情報に基づいた人の意思決定過程がモデル化されている。また、人の脳では、視覚や聴覚といった複数のモダリティから得た情報を適切に統合する機能がある。この知覚過程をモデル化したベイズ型因果推論（BCI）を用いてBAMを拡張することで、マルチモーダルな観測情報に基づく意思決定過程モデルを構築した。センサとして、3Dカメラ（RGB＋Depth）、LiDAR、ミリ波5Gアンテナを用いてデータを取得し、映像、位置に関する特徴量抽出を行い、得られた結果をマルチモーダル統合する手法によって、物体ラベルおよび位置の認識の誤り率を抑制可能であることを示した。また、認識結果を用いることで、搬送ロボットの安全な制御の実現について検討を行った。
[関連発表論文]
- Ryoga Seki, Daichi Kominami, Hideyuki Shimonishi, Masayuki Murata, and Masaya Fujiwaka, “Object recognition method for digital twin inspired by multimodal information processing in the human brain,” submitted for publication, March 2024.
- Hideyuki Shimonishi, Daichi Kominami, Yuichi Ohsita, Hiroshi Yoshida, Kousuke Nogami, Dai Kanemoto and Masayuki Murata, “Probabilistic representation and its application of digital-twin of spatio-temporal real-world toward trustable cyber-physical interactions,” IEEE Network, vol. 38, no. 6, pp. 130–137, November 2024.
- Haruhito Ando, “Human perception inspired multimodal object recognition by considering time-dependent reliance on modalities,” Master’s thesis, Graduate School of Information Science and Technology, Osaka University, February 2025.
- Rui Geng, “Indoor multimodal object recognition with mmWave sensing and RGB vision for pri-vate 5G networks,” Master’s thesis, Graduate School of Information Science and Technology, Osa-ka University, February 2025.
- 小南 大智, “人の行う情報認識処理を模した、ロボットによる物体認識,” 第 9 回【おウチで】大阪大学ロボットサイエンスカフェ, March 2025.
2.1.2. Magnitude-Sensitivityを用いたエッジ-クラウド連携制御に関する研究（NECブレイン・インスパイヤード・コンピューティング協働研究所における成果）
近年、エッジコンピューティングに対応したアプリケーションが注目されている。AI蒸留を始めとしてモデルサイズの軽減技術により、従来のクラウドで提供されるAIよりも低いレイテンシーで、計算能力の限られたエッジや端末上にコンパクトなAIモデルを配置することができる。しかし、一般的にモデルが小さいAIは精度が低いため、処理割り当てを決める際には、精度とレイテンシーのトレードオフ、さらに消費電力を考慮する必要がある。このようなタスク割り当て問題では、計算の困難さからヒューリスティックな解法が必要であるが、環境が準静的な場合、最適解から乖離が問題となる。我々の研究グループでは、準静的環境では最適解を連続的に探索し、動的な環境変化に対しては過去の準静的環境との類似性に基づいて準最適解を即座に決定するというアプローチをとっている。特に、類似性に基づく準最適解の選択には、脳の意思決定の性質であるMagnitude-Sensitivityを応用することが有効である。Magnitude-Sensitivityは良い結果をもたらす選択肢が多い場合に高速に選択を行い、逆に悪い結果をもたらす選択肢が多い場合は時間をかけて慎重に選択を行う。本研究ではゆらぎ学習における生成モデルにMagnitude-Sensitivityを取り込むことでゆらぎ学習を拡張し、エッジ-クラウド連携制御に適用した。シミュレーションを用いた評価により、提案手法は最適化ソルバーと同等の解を短時間で選択可能であることを示した。
[関連発表論文]
- Tatsuya Otoshi, Hideyuki Shimonishi, Tetsuya Shimokawa and Masayuki Murata, “Power efficient edge-cloud cooperation by value-sensitive Bayesian attractor model,” in Proceedings of The Sixth International Workshop on Intelligent Cloud Computing and Networking (ICCN 2024), May 2024.
2.1.3. 能動推論を用いた観測・制御ループ統合型ビームフォーミング制御に関する研究
近年、電波による無線通信とセンシングを統合的に制御するIntegrated Sensing and Com-munication (ISAC)が注目されている。ISACでは同一周波数・同一ハードウェアを用いてセンシングと通信を同時に行う。従来のISACでは、センシングのアプリケーションと通信のアプリケーションは異なるものと想定されている。本研究では、センシング情報を通信におけるビームフォーミング制御に活用することで、センシングと統合されたビームフォーミング制御の実現を目指している。この統合のためには、常に変動する電波環境の中で、センシングによって環境の情報を正確に把握することによる間接的な制御性能の利得と、センシングのリソースを通信側に割くことによる直接的な制御性能の利得の双方を考慮した意思決定が必要となる。人の意思決定においても、状況を正確に知るための行動を行いながら行動の決定が行われるという能動推論が常に行われている。我々は、脳の能動推論との類似性に着目し、能動推論を応用することで、センシングと統合されたビームフォーミング制御を提案している。本研究では、受信電波強度のフィードバックをセンシング情報として、送信側でビームを能動推論により選択することで、環境変動に追随してビーム選択が可能であることを示した。また、受信電波の到達時間、反射電波の到達時間を用いた端末の位置推定をセンシング情報に加えたビームフォーミング制御への拡張も行なっており、位置情報を利用することでよりスループットの高いビーム制御が可能であることを示した。さらに計測用のドローンを利用して能動的に電波環境をセンシングすることで、人の動きに先立って適切なビームフォーミングを行うことが可能であることを示した。
[関連発表論文]
- Naoki Nishio, Tatsuya Otoshi and Masayuki Murata, “Predictive beamforming with active infer-ence in constant channel condition change,” submitted for publication.
- Tatsuya Otoshi and Masayuki Murata, “Coordinated multi-point by distributed hierarchical active inference with sensor feedback,” Computer Networks, vol. 257, p. 110989, February 2025.
- Naoki Nishio, Tatsuya Otoshi and Masayuki Murata, “Predictive beamforming with active infer-ence in hierarchical codebooks,” in Proceedings of 2024 20th International Conference on Wireless and Mobile Computing, Networking and Communications (WiMob), pp. 563–569, October 2024.
- 大歳 達也, “能動的推論によるセンシングと通信の統合型ビームフォーミング制御,” 電子情報通信学会技術研究報告(IN2024-59), vol. 124, no. 312, pp. 26–29, December 2024.
- 山田 翔太, 大歳 達也, 村田 正幸, “位置情報を利用した能動推論による基地局間連携ビームフォーミング手法,” 電子情報通信学会技術研究報告(RCS2024-14), vol. 52, no. 124, pp. 1–6, May 2024.
- 橋本 悠平, “実時間ビームフォーミング実現のための能動推論を用いたネットワークデジタルツインの動的更新手法の検討,” 大阪大学基礎工学部情報科学科特別研究報告, February 2025.
2.1.4. 能動推論の搬送ロボット制御への適用に関する研究
搬送ロボットを作業者がいる環境にも配置するなど、活用範囲を広げるためには、倉庫内の作業者を回避することが必要である。倉庫内においては、作業者の移動による環境変動やカメラの死角などによって作業者の位置についても不確実性が生じる。一方で、搬送ロボットにおいてはその作業効率も重要であり、不確実性に対応しつつ、安全性と効率を両立する手法が求められている。一方、不確実性のある環境下においても、生物は、周囲の情報を得るための観測と行動を行い，危険を回避することができている。このような生物の行動を説明するフレームワークとして、能動推論が提唱されている。能動推論では、観測と行動を繰り返し、自由エネルギーを最小化するように行動することを行動原理としたものである。
そこで本研究では，能動推論の搬送ロボット制御への適用を検討している。具体的には、搬送ロボットにおける荷物の搬送先である目的地へと移動する行動と、倉庫内や自身の周囲を観測することにより倉庫内の状況を推測する過程をモデル化することにより、搬送ロボットを能動推論によって制御する。本研究では、提案手法が安全性と効率を両立できることをシミュレーションによる実験により示している。
[関連発表論文]
- 福山 敦也, 大下 裕一, 村田 正幸, “能動推論に基づく搬送ロボット制御手法の提案,” 電子情報通信学会コミュニケーションクオリティ研究会, vol. 124, no. 368, pp. 49–54, January 2025.
2.1.5. 能動推論を用いた物理空間状態の実時間把握に関する研究
CPS においては物理空間を正確に把握し、仮想空間に多くの情報を集積することが求められる。しかしながら、物理空間の情報は過去情報を含めると膨大な情報量となり、仮想空間上において情報が欠損することが不可避である。そのため欠損した情報を CPS 上に存在する情報などの利用によって補う欠損情報の補間や、情報が不足している領域を能動的にセンシングすることによる欠損補填を行うことが必要となる。
以下の研究では、仮想空間上における欠損情報の補間や欠損補填を行うために物理空間にセンシングを適切に働きかけることを目標として、複数の可動式カメラによる人物探索を題材とし、能動推論による環境の状態推論と、推論に基づく観測行動の実現に取り組んでいる。能動推論は、情報の不確実性およびあいまいさを捉え、対象物の観測や自身の行動を推論する制御フレームワークであり、エージェントは環境の状態に対する事前の信念と観測結果を組み合わせることで環境の状態を確率的に推論し、かつ、自身の行動による確率の変化を把握することができる。複数の可動式カメラによる人物探索のユースケースにおいては、探索の対象となるターゲットは移動し続けるため、常に追跡し続けることは困難であり、ターゲットに関する情報が欠損する。そのため、ある可動式カメラでターゲットをセンシングできないときに、その位置を推論し、他の可動式カメラの捕捉範囲を制御することで、ターゲットをより効率的に捕捉することが期待できる。シミュレーションを用いた評価の結果、能動推論を利用しない場合に比べて、ターゲットの交差点における移動方向に一定の傾向がある場合に捕捉割合が向上することがわかった。これは、能動推論によって移動の傾向を把握しながら探索していることによるものである。また、移動方向が無作為である時は、能動推論を用いない場合と同等の捕捉割合となることも明らかとなった。
[関連発表論文]
- 小菅 瑛斗, 荒川 伸一, 村田 正幸, “能動推論に基づく広域エリア人物探索手法の有効性の評価,” 電子情報通信学会情報ネットワーク研究会, vol. 124, no. 199, pp. 65–70, October 2024.
- Eito Kosuga, Shin'ichi Arakawa and Masayuki Murata, “Evaluation of person search system using multidirectional cameras and a drone based on active inference,” submitted for presentation.
2.1.6. IoT センサ情報収集に基づく偽情報分析技術に関する研究
近年、SNS 等を通じた情報発信が容易になったことに伴い、インターネット上での真偽のあいまいな情報が氾濫している。特に、地震や洪水などの災害発生時には、救護や救援活動に支障が出る恐れがある。実際に、2024 年 8 月に台風 10 号が接近した際には、武蔵小杉周辺について実際には氾濫が発生しなかったにもかかわらず、多摩川氾濫などといった根拠のない情報が多数確認された。このような情報に対する真偽判定の方法として、信頼できる機関や自治体のカメラやセンサから得られる情報をもとに、真の状態を推測し、発信された情報の確からしさを推測することが考えられる。このような推定を行う際には可能な限り多くのデータを収集することが望ましいものの、通信システムへの負荷の観点から、機械によるカメラやセンサへの網羅的なアクセスは近年では禁止される傾向にある。そのため、人の手によってアクセスするカメラやセンサの取捨選択が行われていた。このような人の状況推定と情報取得行動を模倣したフレームワークとして、能動推論がある。能動推論では、外部の状況に対しての観測を受動的に行うのではなく、推論に基づいて曖昧さを低減する可能性が最も高い行動を実行するといった能動的な観測が行われる。このとき、同時に不確実性を減らす可能性が最も高い行動も推論し、この 2 つを最適化するような行動を実行する。この不確実性を最小化する行動の推論を活用することで、偽情報の判定において人間が行う情報の取捨選択のモデル化が期待できる。
以下の研究では、発信された情報の真偽判定における状態の推定と情報の収集において能動推論を用いる手法を提案し、2024 年 8 月の台風 10 号を題材に、武蔵小杉周辺を想定したマップ上で数値計算による手法の評価を行った。シナリオとして河川氾濫を対象とし、ある特定の地点での浸水の有無について情報が発信された場合を想定し、その地点の浸水の確からしさを示すことで、情報の真偽を判定する。提案手法は、不確実性を減らす可能性が最も高い行動を推論することで真偽判定に有効な情報の取捨選択を行い、情報収集のためにアクセスするカメラやセンサを選択する。また、収集した情報をもとに、河川周辺の浸水が発生している領域を推定し、この推定結果をもとに次にアクセスするカメラやセンサを推定することで、繰り返し情報の収集を行う。数値評価の結果、浸水状況の推測と情報の収集を複数回繰り返すことによって、真偽判定の対象の地点における浸水の有無についての不確実性が減少し、真偽判定に有効であることがわかった。
- 前野 仁愛, “能動推論を用いた IoT センサ情報収集と実世界の状態推定を同時に解決する偽情報判定手法の提案と評価,” 大阪大学基礎工学部情報科学科特別研究報告, February 2025.