Statistical mechanical models of integer factorization problem
Chihiro H Nakajima and Masayuki Ohzeki
submitted to JPSJ
arXiv:1605.01310
ぐるぐるぐるぐると結論が見えない議論であった古典計算機と量子計算機の違いが顕著に出る有名な計算として素因数分解がある．それを最適化問題として素朴に定式化して統計力学の処方箋に則り、計算量評価を行ったもの．賢いアルゴリズムに対応しているわけではないから、最速の計算量評価にはなっていないものの、古典のアルゴリズムを適用した時の特殊な性質が見えている．
単なる一次転移ではなく二次転移の特徴も有することがわかり、一次転移ほど状態間の遷移が制限されているわけではない印象．もしかしたら模型を変えたら二次転移に帰着できるのではないかという兆候が見える．それが古典の範囲では難しく、量子揺らぎを利用した時に、この一次転移を失くすことが、またはやわらげることができるのではないかという兆しを見つけたという論文．
当然、量子アニーリングの定式化で検証を進めている．
Conflict between fastest relaxation of a Markov process and detailed balance condition
Kazutaka Takahashi and Masayuki Ohzeki
Phys. Rev. E 93, 012129 (2016)
arXiv:1509.08212
BBDBC2014の様子東工大時代に一緒に過ごした高橋さんと初めての共著．詳細釣り合いの破れというのは最適な確率過程の中で自然に現れるということを示した論文．彼が得意とする量子最速降下曲線の方法を、古典の確率過程であるマスター方程式が支配する世界へ輸入することでなしえた結果．色々と教訓めいたこともあり、内容以上にしみじみと色々と感じた．フォッカープランク系や他のシステムへの拡張や展開も視野にいれつつ、これまでとは異なった視点で「詳細釣り合いの破れ」というものの領域を広げることを目指した．
日本では諏訪・藤堂法から始まり、酒井・福島の結果、そして一木・大関の結果、そして大関・一木法を経て、遂に数理的基盤の醸成として最適化の手法まで登場しました．これまでよりもユニークで優れたルールによる確率過程が登場する日も近いかもしれません．あくまでこれは狼煙で、続々と続きます．BBDBCの系譜、乞うご期待．
(元タイトル：Optimization of Markov process violates detailed balance condition)
Full-order fluctuation-dissipation relation for a class of nonequilibrium steady states
Akihisa Ichiki and Masayuki Ohzeki
Phys. Rev. E 91, 062105 (2015)
arXiv.cond-mat.1503.04504
非平衡定常系の夜明けぜよ．詳細釣り合いをやぶり、しかし定常分布は平衡系と同じようにGibbs-Boltzmann分布とする特殊な非平衡定常系に注目する．諏訪藤堂法を始め、数値計算で考えられるようになった人工的な系である．
しかしひとたび非平衡定常系の例題として解析をしていくと非常に性質がよく、色々なことが分かる．
平衡系ではしっかりと理解されている揺らぎと応答の関係を、非平衡定常系についても求めようと地道な努力が続けられて来たが、本論文ではそのひとつの結実を示している．
元々数値計算上、緩和が早くなる、相関時間が短くなる等の特徴があり、その起源を追い求めて行くと、レアイベントサンプリングを使っていることが見いだされたところに端を発する．
根本佐々理論のように、そのままではサンプリングが難しい確率分布の裾野の領域について、
外力を加えることにより得られる別の非平衡定常系で典型的なイベントにしているのではないか？
だとすると、その特別な外力は何だろうか？根本佐々理論と同様に得られるはず．
根本佐々理論そのままでは中々扱いが難しいので、杉山大関の変分法を使い、非常に簡素に求めることに成功した．
その力は、数値計算上の興味で前回求めた詳細釣り合いを破ったLangevin系にかける力そのものであった．
発見的に見つけたものを理論的に示した快感を伴う成果である．
揺らぎと応答の関係を非平衡定常系ではっきりと見いだした意味でも非常に重要な知見である．
ある意味初めて物理の論文を書いた気がする．
L_1-regularized Boltzmann machine learning using majorizer minimization
Masayuki Ohzeki
J. Phys. Soc. Jpn. 84, 054801 (2015)
arXiv.stat.ML.1503.03132
蛍の光を検出するのもスパース解推定ですね
statML第二弾．L1ノルムによる正則化でスパース解を出すときに、どうやったらいいんだろう？物理界隈の人に伝えるために書いたようなもの．業界内では普通のことですが、こちらの分野ではそんな知られていないのでチュートリアル的に書きました．
実際にアルゴリズムを動かして遊んでみないと、面白みは分かりません．
是非この手法を使ってスパース解を推定して、威力を噛み締めてほしいと思います．
応用編は今後次々と出ますので、興味を持つタイミングはこれからでも遅く無いですよ．
Statistical-mechanical analysis of pre-training and fine tuning in deep learning
Masayuki Ohzeki
J. Phys. Soc. Jpn., 84, (2015) 034003
arXiv.stat.ML.1501.04413
京都大学に来たからには機械学習そして情報統計力学でしょう．
出ました、Deep Learningの性質を調べる解析的研究です．今や右も左もDeep Learningという時代ですが、その識別能力に対して、
Deep Learningの何が良いことを引き起こしているのかがよくわからないと言った声が多く聞かれます．そこまでわからないわけでもないのですけども、教師無し学習と教師あり学習がそれぞれどのような性質をもたらしているかをまずは丁寧に探りました．Deep LearningというとDeepじゃないと意味がないみたいに思われますが、扱っているデータをどのように表現するのかが非自明だから多層にするのであって、データが表現できるような状況であれば多層化する必要はないわけです．
ではあの非自明な精度はどこからくるのか？それは学習をしっかりやるからです．
ただその学習をするには大変で、そのためにAuto encoder等の対処法が必要というわけです．
今回はその大変になる理由が、半教師あり学習特有の一次転移にあることを示しました．
しかも教師無し学習のデータ量を大きくすると非自明な相転移があり急激に精度が良くなることがわかり、これがDeep Learningの性能の意味であることを発見しました．
個人的には何気にレプリカ法＋SGの平均場理論初デビューをこの論文にしたくて、昨年はのんきに映ってしまう状態になりましたが、これから大量放出されますのでご安心を．
Langevin dynamics neglecting detailed balance condition
Masayuki Ohzeki and Akihisa Ichiki
Phys. Rev. E 92, (2015) 012105
arXiv:cond-mat/1307.0434
穏やかな流れの中にも意味がある諏訪藤堂法と呼ばれる詳細釣り合いの破り方は、遷移行列の対角成分を無くすように非対角成分をいじることにある．それをIchiki-Ohzeki2013では、固有値のシフトを引き起こすので、定常状態への緩和を早める効果があることを示した．同様のことはフォッカープランク演算子に対しても行うことが出来る．定常状態を自分の好みのものにしたまま、そのような操作が可能であることを発見したのが昨年．査読者により丁寧に閲読をされてしばらく本質的な進展もなさそうなので、一旦あきらめたのだが、再度共著者との議論の中、対応するランジュバン方程式が存在することに意外性を見いだした．定常状態の形をそのままに人工的な力を導入することが可能なのだ．定常状態へとても行き着かないようなエネルギー障壁が多くあるような系でも、この力を利用すれば、系はかき混ぜられて定常状態へと緩和する．その緩和はフォッカープランク演算子に直したときに加速されることが保証されている．シンプルで汎用性が高いアルゴリズムの完成である．諏訪藤堂法のように、ちょっとした工夫ですっごくいい方法です．
ちょっとすごいことに、2次元のXY模型特有のKT転移、KT相内での臨界緩和、この方法でその臨界緩和からの早い離脱が可能である事が分かりました．
つまりこの方法で、多くの数値計算屋さんの頭を悩ませてきた、臨界緩和にまつわる緩和時間が長大になる問題が解消できうる事が分かったのです．単純すぎる割に、ご利益がありすぎる．もう少し発展の幅もあるので今後に期待します．
（旧タイトル：Acceleration without Detailed Balance Condition from Perspective of Nonequilibrium Behavior）
