研究紹介

本研究室では，不確実性がある環境下での情報処理にまつわる多様な課題を，数理的な観点で横断的に捉えることで解明していくことを目指します．今日の情報処理の多くの課題は大規模な確率モデルにもとづいて定式化でき，確率モデルの大規模さから立ち現れる法則性を活用することが，高度な情報処理を実現する鍵となります．大規模な確率モデルの情報数理を統計力学との類比で議論する情報統計力学や，統計的機械学習や深層学習，データ科学に関わる理論的諸問題の検討などの主題群に取り組んでいます．我々の研究活動の特徴は「領域横断的であること」だと考えています．現在取り組んでいる研究テーマも，多岐に渡る学問分野（情報理論，通信理論，確率論，統計科学，統計力学，機械学習など）に関連しています．

「圧縮センシング」は，データの「スパースさ」に着目した新しい情報処理の枠組みとして，数理と応用の両面から近年大いに注目を集めています．圧縮の理論的限界の解明をはじめとして圧縮センシングの数理的性質を明らかにするための研究を行っています．

例えば圧縮センシングの応用先としてもっとも期待されている分野は磁気共鳴信号に関する信号処理です．医用MRIの主要3社はすでに圧縮センシングを使用したMRI装置の市販を始めています．医学研究科の研究室と共同で，3次元MR血管造影法の改良への応用を研究しました (文献)． また，システム科学専攻医用工学分野と共同で，MRスペクトル画像法による体内物質動態の非侵襲計測への応用を研究(Proc. ISMRM, 2018)しました（下の動画を参照）． さらに，理化学研究所等と共同で，タンパク質NMR分析に低ランクテンソル分解を適用する研究を行いました (文献)．他にも質量分析に対する圧縮センシングの応用研究も行っています．質量分析は，タンパク質を含む微量の試料を高感度で計測でき，細胞質のタンパク質や，口腔，腸内などの細菌叢に含まれるタンパク質などを網羅的に解析する(メタプロテオミクス)際の非常に強力な手段を提供しています．薬学研究科等との共同研究により，圧縮センシングにもとづく質量分析の高度化(特許出願)や，深層学習を援用した質量分析データの解析などの研究に取り組んでいます．

一方，圧縮センシングを情報統計力学の手法を用いて解析することも行なっています．Lp正則化を用いた場合の復元性能限界を，統計力学のレプリカ法を用いて，pについて網羅的に明らかにしました (文献)．また，よく使われる定式化であるL1正則化を用いた場合の観測ノイズ有り状況での性能を明らかにすべく，やはりレプリカ法を用いて詳細に解析を行いました．結果として，経験的に使われていた多段階推定が確かに性能改善を導くこと，交差検証法が合理的な正則化係数の選択法を導くこと，交差検証法を低計算量で実行する近似公式を得るなどの成果を得ました (文献)．

不確実性を有する環境から意味のある情報をどう効率的に取り出すか，という問題は，機械学習をはじめとして多くの情報処理に現れる理論的課題です．この課題に対して近年注目を集めている，環境の不確実性を確率モデルによって記述し，それに基づいて推論，学習，適応を行う方法論について，統計科学，情報理論，統計力学，情報幾何学等の立場から領域横断的，多面的に研究を行っています． 確率モデルにもとづく情報処理に関する研究成果の検証を主な目的として，空間データ解析，多次元データのクラスタリング，通信における情報推定，強化学習，ゲーム理論，などの具体的な問題群についても研究を行っています．例えば、ガウス過程は，関数の空間上での確率分布を定義するモデルです．高い柔軟性を持ちながら推論が容易であるという特徴を有し，幅広い応用に使われているだけでなく，多層ニューラルネットワークの幅が無限大の極限を議論する際のモデルとしても注目されています．ガウス過程にもとづく回帰の計算量を低減させるための近似手法の研究 (文献)や，データが領域にわたり平均化された形で与えられる場合にガウス過程回帰を適用するための研究 (文献)などに取り組んでいます（空間データの高解像度化）． また、ゲーム理論の「囚人のジレンマ」は，各プレイヤーの合理的な行動選択の結果(ナッシュ均衡)が全体にとって望ましい結果(パレート最適)とならない状況をあらわす古典的な事例です．2012年にPressとDysonによって「ゼロ行列式戦略」と呼ばれる新しい戦略が報告されて注目を集めていますが，このゼロ行列式戦略を多プレイヤーゲームに一般化したものについて，さまざまな代数的性質を明らかにする研究成果を挙げています (文献)．

さらに，統計力学で用いられる磁性体を記述するイジングモデルは、デジタル画像処理などでも使われるマルコフ確率場模型の一つと考えることが出来ますが、そのモデルの単純さから逆問題に対し様々な解析的な研究を行うことが出来ます。本研究室では、逆イジング問題において相互作用ネットワークを完全に当てられるかを， L1,L2正則化の有りなし，複数のコスト関数(擬似尤度，二条誤差)の場合をレプリカ法を用いて解析しました (文献)．

また，ランダムPCA(rPCA)というデータ圧縮＋次元圧縮の方法があります．これはデータをランダム射影で減らした後にさらにPCAをかけるものですが，そんなことをしてよいのか＝下の情報がどのくらいretainされるのか，というのが疑問になります．それに答えるべく，spikeモデル(=信号+ノイズ)というモデルにおいて，上記操作をしたときにどのくらい信号が取り出せるかをレプリカ法を用いて調べました (文献)．

また確率モデルの疫学への応用も行っています。コロナ禍でニュースによく目にするように、感染しているにも関わらず症状を出さない患者（無症状者）を手元にあるデータから見積もることは疫学で問われる重要な課題の一つです。特にフランス領ポリネシアのデング熱について、35年間蓄積された患者データ（つまり症状を持った患者数）から、その間の無症状者の数を見積もることをベイズ推定を用いて行いました (文献)．

深層学習に関して数理的な観点からの研究に取り組んでいます．深層学習が注目を集めて10年以上が経過しています．深層学習により，仮説の柔軟な表現系とその学習手段とが得られましたが，なぜ深層学習はうまくいくのか，深層学習に関連してなされている様々な提案はなぜ有効なのか，といった問いには，満足な解答が得られていないものがまだまだたくさんあります．本研究室では，確率的勾配降下の解析や，最適輸送理論にもとづく学習の目的関数の直接的評価法の研究 (文献)などに取り組んでいます．後者は敵対的生成ネットワーク，いわゆるGANモデルのなかで最適輸送理論にもとづくWGANと呼ばれるモデルについて，学習方法の改良法を提案した研究事例です． さらには深層学習モデルを仮説の柔軟な表現系として順序回帰などの統計的データ解析の諸問題に活用する研究などにも取り組んでいます． 一方，グラフニューラルネットワーク(GNN)という深層学習を用いたグラフデータ処理方法がありますが，このgraph partitioningにおける理論性能を，統計力学でもお馴染みの平均場近似を用いて評価しました．かなり単純な平均場近似の結果と実際の深層学習の数値実験の結果がある程度一致するという興味深い結果が得られています (文献)．