Abstract

In this chapter, we would like to review the original method in short and alternatives of simulated annealing in context of statistical physics.
The simulated annealing introduces and exploits artificial degrees of freedom to drive the system inspired by statistical mechanics, namely the thermal fluctuations.
The original version of the technique, one simulates the stochastic dynamics of the system and drive it for a sufficiently long time.
To realize speed up of the simulated annealing, we simultaneously drive a number of systems and take their average to evaluate the correct behavior in the stochastic dynamics.
If we take a special biased average during the process, we can reproduce the results in the satisfactory level as given by the original simulated annealing without driving the system for such a long time.
We show an essential idea of such an alternative with parallel computation.

Instead of usage of the thermal fluctuations, its quantum version can be implemented to search for the desired state corresponding to the optimum of the optimization problem.
That is the quantum annealing.
In order to introduce another direction of the development associated with the simulated annealing, we explain how to perform the quantum annealing and consider its improvements according to several theories in statistical mechanics.

Simulated Annealing - Advances, Applications and Hybridizations

Abstract

In this chapter, we show two fascinating topics lying between quantum information processing and statistical mechanics.
First, we introduce an elaborated technique, the surface code, to prepare the particular quantum state with robustness against decoherence. Interestingly, the theoretical limitation of the surface code, accuracy threshold, to restore the quantum state has a close connection with the problem on the phase transition in a
special model known as spin glasses, which is one of the most activeresearches in statistical mechanics. The phase transition in spin glasses is an intractable problem, since we must strive many-body system with complicated interactions with change of their signs depending on the distance between spins. Fortunately, recent progress in spin-glass theory enables us to predict the precise location of the critical point, at which the phase transition occurs. It means that statistical mechanics is available for revealing one of the most interesting parts in quantum information processing. We show how to import the special tool in statistical mechanics into the problem on the accuracy threshold in quantum computation.

Second, we show another interesting technique to employ quantum nature, quantum annealing. The purpose of quantum annealing is to search for the most favored solution of a multivariable function, namely optimization problem. The most typical instance is the traveling salesman problem to find the minimum tour while visiting all the cities. In quantum annealing, we introduce quantum fluctuation to drive a particular system with the artificial Hamiltonian, in which the ground state represents the optimal solution of the specific problem we desire to solve. Induction of the
quantum fluctuation gives rise to the quantum tunneling effect, which allows nontrivial hopping from state to state. We then sketch a strategy to control the quantum fluctuation efficiently reaching the ground state. Such a generic framework is called quantum annealing. The most typical instance is quantum adiabatic computation based on the adiabatic theorem. The quantum adiabatic computation as discussed in the other chapter, unfortunately, has a crucial bottleneck for a part of the optimization problems. We here introduce several recent trials to overcome such a weakpoint by use of developments in statistical mechanics.

Through both of the topics, we would shed light on the birth of the interdisciplinary field between quantum mechanics and statistical mechanics.

Link:amazon
原稿: arXiv:1204.2865

書き出し

「大関さん、カンニングで新聞に載っていましたよ．」
まるで犯人扱いである．

「ベトナムのカンニング事情についてお聞かせください．」
私はカンニングの専門家でもなんでもない．即座にお断りをせざるを得なかった．

京都大学がカンニングの検出技術を開発した、というニュースを今年の前半にかけて目にした読者の方々もいるだろう．その内容は、Journal of Physical Society of Japan（JPSJ）誌に掲載されたひとつの論文についてである．
この論文は、山中祥五君（掲載当時、京都大学工学部4年生）とAurelien Decelle氏との共同研究の成果である．
論文掲載の時期が近づいたときに、私は京都大学の広報課に論文内容をまとめた$1$枚の書類を送付した．
NatureやScience、Cell誌でもなく、それに類する雑誌でもない論文についてのプレスリリース用記事である．通例であれば気が引ける場面であろう．
しかし本研究成果は、実施当時学部3年生のものであること．これは特筆すべきことだ．
また後で紹介するように、「カンニング」は「スパース性」と呼ばれる専門的な概念を専門外の人々に伝えるいい表現であると考え、広く社会に知ってもらういいチャンスであるという考えから、私はプレスリリースに踏み切った．

概要

10ヶ月海外を楽しんで来なさい．こう言われたら本気で遊び、思い出を沢山作ってくることでしょう．10ヶ月で結果を出してこい．そう言われたらきっと焦るでしょう．
この文章では私のローマでの滞在で巻き起こったこと、それを皆さんに紹介します．若い読者の方々は、成功者の秘訣みたいなものがきっと書かれているものと期待して、目を輝かせながら読むかもしれません．でもここに書くのは、そんなものではありません．あしからず．

Web増補版

概要

量子アニーリングというのは，量子揺らぎを巧みに利用して最適化問題を解くアルゴリズムである．量子力学を用いて最適化問題の解を与えるような情報処理を行うという意味では，量子計算のひとつの技法ともいえる．実験技術の進歩もあって，このような量子
力学的な自由度を制御する研究が理論・実験両面で盛んになっている．量子アニーリングは，量子計算の中でも汎用性という意味において際だった特徴を持つ．量子アニーリングの今とこれからについて紹介していこう．

物理学会誌に掲載された量子アニーリングの記事において，(6)式の4行後に「先ほどのシミュレーテッド・アニーリングのときと同様にcはシステムのサイズに比例する定数である．」と記載されていますが，これは間違いです．
cはシステムのサイズによらない定数です．お詫びして訂正します．

原稿PDF

概要

何か機械学習って流行っているらしい.どういうものかちょっと知りたい.知っているつもりだけど、実 はちゃんとあんまり考えたことがない.そう言った聴衆を相手に夏の学校で集中ゼミの話題として「機械学 習」を取り上げました.講演とむやみやたらにリンクさせるつもりはありません.少しやってみる気になっ た時に手がかりとなるように書いた記録です.細かいことは書いていません.これを目にして、機械学習そ のものだけではなく、ご自身の分野に役立つものやアイデアが生み出されることを期待しています.

物性若手夏の学校の講義ノート．

概要

本解説記事では，有限次元のスピングラス模型に対する新たな解析手法を紹介する．
新たな解析手法といっても，核となる部分は古くより知られたものである．
ひとつは分配関数の対称性を利用した双対性．そしてもうひとつは実空間繰り込み群である．
これらをスピングラス模型の解析でよく扱われるレプリカ法とあわせた手法である．

双対性は，古典スピン系の相転移点を厳密に求める手法として利用されてきた．
一方で相互作用にランダムさがあるスピングラス模型への適用をナイーヴに考える場合，いくつかの問題点がある．
近年の繰り込み群を使った議論により，それらの問題点を乗り越えてスピングラス模型における臨界点を非常に精度よく導出できることが明らかになった．
スピングラス模型に対する双対変換についての一連の研究について，歴史的な経緯と最新の結果を織り交ぜて，本解説記事では紹介する．

スピングラス模型には系のランダムさによるフラストレーションと呼ばれる幾何学的な構造から生じる競合状態が発現する．
それに起因する現象を取り扱う基本的な模型とも言える．
しかしながらその解析は主に平均場理論によるもので，有限次元の解析となるとお手上げ状態であった．
特に相転移に関する系統的な理論となると，皆無である．
このスピングラス模型は他の物理や境界分野において構築された理論模型と対応する部分も多々ある．
本解説記事では，デジタル情報の読み出しの問題と有限次元スピングラス模型の対応関係を一例として取り上げる．
そして急速に研究者の興味を集めている境界分野のひとつである量子情報理論におけるスピングラス模型の役割についても紹介する．
特にこの量子情報におけるある問題に関して，スピングラス模型の特別なある臨界点の位置を決定する事が重要であり，本解説記事にに登場する手法がその答えを導いてくれる．

このように統計力学としての基本問題としてだけではなく，応用面からも重要であるスピングラスにおける相転移の問題を中心に，有限次元のスピングラスに対する新しい理論をこの解説記事では紹介する．

著者発行の原稿PDF file

改訂の後公開予定

Version0
とりあえずの公開版．2014/12/22東北大学AIMRにて講演した内容．

Version0
とりあえずの公開版．2014/12/01インドSTATPHYS8にて講演した内容．

To be uploaded

概要

大阪市立大学電子・物理工学特別講義の準備で執筆したもの．
第一部は圧縮センシングの基本から実践のために実用されている高速再構成アルゴリズムのうち、FISTA、Bregman反復法、拡張ラグランジュ法との関係、ADMMまで関係性を俯瞰しながら紹介．
第二部はボルツマン機械学習の基本から実際の学習方法を統計力学との関係性に注目しながら紹介．
2016.08.22ver多くの修正を含むことを断っておく．
（2015.09.02改訂）
（2015.09.09改訂:AMPを追加）
（2016.03.04改訂:state evolutionを追加、ADMMや拡張ラグランジュ法について大幅改定）
（2016.06.02改訂:圧縮センシングの再構成アルゴリズムの実装編を追加）
（2016.07.27改訂:多次元ガウス分布のスパース相関推定追加）
（2016.08.22改訂:メッセージ伝搬法の解説増強）

2015.09.02使用スライド
2015.09.02Slide1
2015.09.02Slide2
2015.09.02Slide3
2015.09.03はひたすら板書で計算．
2015.09.03Slide
2015.09.04使用スライド
2015.09.04Slide1
2015.09.04Slide2

国立情報学研究所での使用スライド
圧縮センシング編スライド
2015.11.18Slide1
ボルツマン機械学習編スライド（深層学習についても触れている）
2015.11.18Slide2

d.a.t株式会社主催セミナー使用スライド
今日から分かるスパースモデリングと深層学習

2017.03.XX
ISTA、FISTA等のL1ノルムを利用した再構成プログラム公開予定．
matlab用のものが多い中、C言語による単純なコード．
行列計算のためにBLASを利用している．
結果の表示のためにgnuplotを利用しております．

スパースモデリング

第1回(2015.12.01)
“スカスカのデータから知見を見出す救世主？--「スパースモデリング」とは何か”
第2回(2016.01.20)
“スパースモデリングの実践--データから本質を抜き出す”
第3回(2016.03.10)
“スパースモデリングと機械学習の化学反応--関係性を機械が自動的に発見”
第4回(2016.04.06)
“画像や音声、文章にも応用可能--実は身近なスパースモデリング”
第5回(2016.06.01)
“人間と機械の協業の未来--専門家の知識を機械学習に統合する”

量子コンピュータ

第1回(2016.XX.XX)

第1回(2015.11.17) "知的情報処理の最前線：新規計算技術「量子アニーリング」"
第2回(2015.11.24) "知的情報処理の最前線：「スパースモデリング」という方法論"
第3回(2015.12.01) “知的情報処理の最前線：世界の表現芸術「深層学習」"
第4回(2015.12.08) “知的情報処理の最前線：人生そのもの「マルコフ連鎖モンテカルロ法」"
第5回(2015.12.15) “知的情報処理の最前線：Googleの本気？「量子アニーリング」の威力"
第6回(2015.12.22) “知的情報処理の最前線：「カンニング検出」という問いかけ”
第7回(2016.01.26) “知的情報処理の最前線：信号処理のピクロス「圧縮センシング」"
第8回(2016.02.02) “知的情報処理の最前線：最後の一手「量子コンピュータ」への道”
第9回(2016.03.01) “知的情報処理の最前線：「ブラックホール直接撮像」への挑戦”
第10回(2016.03.08) “知的情報処理の最前線：覗きは駄目「量子の弱点？」”
第11回(2016.03.25) “知的情報処理の最前線：量子の世界の引っ越し大作戦「断熱量子計算」”
第12回(2016.05.10) “知的情報処理の最前線：深層学習の歴史”
第13回(2016.05.17) “知的情報処理の最前線：D-wave Systemsが見せる時代の転換点”
第14回(2016.05.24) “知的情報処理の最前線：この世の全てを見せてやる「事前学習」”
第15回(2016.05.31) “知的情報処理の最前線：初恋を忘れない人工知能？”
第16回(2016.06.28) “知的情報処理の最前線：人工知能の就職活動「転移学習」”
第17回(2016.07.05) “知的情報処理の最前線：Googleがやはり作っていた「量子コンピュータ」”
第18回(2016.07.13) “知的情報処理の最前線：D-waveも負けていない「量子アニーリング」のセールス活動”
第19回(2016.08.30) “知的情報処理の最前線：日本に「量子アニーリング」が来る日”
第20回(2016.09.06) “知的情報処理の最前線：日本の逆転劇「量子アニーリング」研究が盛り上がる”
第21回(2016.09.21) “知的情報処理の最前線：D-waveマシンの本当のところ”

予定

スピングラス関連

科学新聞（2010.09.17）「スピングラスとジャルジンスキー等式ー厳密な関係式解明ー」
日本物理学会誌（2016.08）学界ニュース

量子計算・誤り訂正符号関連

マイナビニュース（2012.06.15）「量子コンピュータの実現に向け、量子情報誤り訂正技術を開発 - 京大など」
マイナビニュース（2013.03.15）「阪大など、極限まで冷やさなくても量子計算が可能となる新理論を発表」

カンニング関連

朝日新聞34面社会2（2015.01.16）「人工知能でカンニングを発見　京大などがプログラム開発」
TBSテレビ 【あさチャン！】（2015.01.19） 「人工知能使いカンニングを発見」
中国新聞網（2015.01.19）「日本专家利用人工智能开发新程序 使作弊无处可逃」
人民網中国語版（2015.01.20）「日本专家利用人工智能开发新程序 使作弊无处可逃」
人民日報（2015.01.21）「日本の専門家、カンニングを発見するプログラムを開発」
私塾界（2015.01.21）「人工知能でカンニングを発見　京大などのグループ」
京都大学広報（2015.01.23）「機械学習によるカンニングの検出技術の開発」
財経新聞（2015.01.25）「京大、機械学習によってカンニングを自動的に検出する技術を開発」
リセマム（2015.01.25）「機械学習の手法でカンニングを自動的に検出…京都大の研究成果」
ニュートンプレスNewton4月号（2015.02.26）「Focus：カンニングを見破るプログラムを開発」
NHK【おはよう日本】（2015.03.27）＜7時台ニュース＞「衝撃のカンニングー背景は」
京都大学CLOCK（2015.05.08）「カンニング　人工知能で特定」
太田出版ケトル（2015.06.15）「京大発のカンニング検出システム　どうやって不正を見つけ出す？」
週刊ダイヤモンド 第104号(2016.01.23)「使える！数学特集」

量子アニーリング関連

日経ビジネス（2015.07.29）「夢のコンピューター、引き寄せた理論」
ZDnet Japan (2016.02.04)「開発競争が激化--D-Waveの性能をしのぐ「量子コンピュータ」開発始まる」
ZDnet Japan (2016.08.25) 「「1億倍速いコンピュータ」に利用--量子アニーリング理論の可能性（1）」
ZDnet Japan (2016.08.31) 「日本のアイデアを海外がさらっていく」現状--量子アニーリング理論の可能性（2）
ZDnet Japan (2016.09.09) Googleやリクルートが取り組む理由--量子アニーリング理論の可能性（3）
ZDnet Japan (2016.09.15) 「日本産量子コンピュータ」の勝算--量子アニーリング理論の可能性（4）

2016年刊行予定
“量子コンピュータが人工知能を作る（仮題）”
西森　秀稔、大関　真之
日経BP

2016年刊行予定
“TBA”
大関　真之
小学館

2016年12月刊行予定
“機械学習入門-ボルツマン機械学習から深層学習”
大関　真之
オーム社

2016年刊行予定
“スパースモデリング”
SPARSE MODELING（日本語訳）
大関　真之、他訳
ジャムハウス

2017年刊行予定
共立出版クロスセクショナル統計シリーズ
“画像処理の統計モデリング”
田中　和之、片岡　駿、安田　宗樹、大関　真之
共立出版