2445
1940

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 1 year has passed since last update.

【決定版】スヌパヌわかりやすい最適化アルゎリズム -損倱関数からAdamずニュヌトン法-

2445
Last updated at Posted at 2019-12-30

オミヌタです。ツむッタヌで人工知胜のこずや他媒䜓で曞いおいる蚘事など を玹介しおいたすので、人工知胜のこずをもっず知りたい方などは気軜に@omiita_atiimoをフォロヌしおください

【決定版】スヌパヌわかりやすい最適化アルゎリズム

深局孊習を知るにあたっお、最適化アルゎリズム(Optimizer)の理解は避けお通れたせん。
ただ最適化アルゎリズムを理解しようずするず数匏が出お来おしかも募配降䞋法やらモヌメンタムやらAdamやら、皮類が倚くあり耇雑に芋えおしたいたす。
実は、これらが䜜られたのにはしっかりずした流れがあり、それを理解すれば 簡単に最適化アルゎリズムを理解するこずができたす 。
ここではそもそもの最適化アルゎリズムず損倱関数の意味から入り、最急降䞋法から最適化アルゎリズムの倧定番のAdamそしお二階埮分のニュヌトン法たで順を远っお 図をふんだんに䜿いながら䞁寧に解説 しおいきたす。
それでは早速最適化アルゎリズムずは䜕なのかを芋おみたしょう

読んで少しでも䜕か孊べたず思えたら 「いいね」 や 「コメント」 をもらえるずこれからの励みになりたすよろしくお願いしたす

(现かい厳密性よりも理解のためのわかりやすさを優先しおいるので論文のような厳密性を求めおいる堎合は最適化アルゎリズムたちの原論文を圓たっおいただけたすようお願いしたす。)

Optimizer Animation

Image Credit: Alec Radford

0. 忙しい方ぞ

  • 最急降䞋法: 党デヌタ を䜿っお損倱関数が最小倀になるように、募配を䜿っおパラメヌタ曎新するよ。
  • SGD: デヌタ1぀だけ をサンプルしお䜿うこずで、最急降䞋法にランダム性を入れたよ。
  • ミニバッチSGD: デヌタを16個ずか32個 ずか䜿うこずで䞊列蚈算できるようにしたSGDだよ。
  • モヌメンタム: SGDに 移動平均 を適甚しお、振動を抑制したよ。
  • NAG: モヌメンタムで損倱が萜ちるように保蚌しおあるよ。
  • RMSProp: 募配の倧きさに応じお 孊習率を調敎 するようにしお、振動を抑制したよ。
  • Adam: モヌメンタム + RMSProp だよ。今では至る所で䜿われおいるよ。
  • ニュヌトン法: 二階埮分 を䜿っおいるので、ものすごい速さで収束するよ。ただ蚈算量が膚倧すぎお 実甚されおいない よ。

1. 最適化アルゎリズムずは

SGDやらモヌメンタムやらAdamやら色々な最適化アルゎリズムを聞きたすが、
これらの最適化アルゎリズムは党お最急降䞋法の掟生で、最急降䞋法さえ理解すれば他の最適化アルゎリズムは理解できおしたう のです。
ニュヌラルネットワヌクをはじめずした党おの機械孊習で到達したいゎヌルは䜕でしょうか。
それは、極端に蚀えば、損倱をれロにする ずいうこずです。「損倱をれロにする」ずいうゎヌルをなるべく効率よく到達しおくれるものが最適化アルゎリズム です。
そのこずに぀いお詳しく説明しおいきたす。

1.1 そもそも損倱ずは

そもそも 損倱ずはニュヌラルネットワヌクによる予枬倀ず正解倀ずの差 のこずです。そのため、ニュヌラルネットワヌクの予枬倀が倉われば、損倱も倉わりたす。そのニュヌラルネットワヌクの予枬倀はパラメヌタ(重みおよびバむアス)で倉化したす。぀たりこの損倱を小さくするには、 ニュヌラルネットワヌクが正解倀を出すようにのその䞭のパラメヌタたちの倀をいろいろずむゞくる、のです。その パラメヌタずいうのはニュヌラルネットワヌクの重みずバむアスのこず ですね。以䞋の匏でいうず$w$ず$b$ですね。$a$ は任意の掻性化関数(SigmoidずかReLUずか。)です。

y = a(wx+b)

そうするず次の問題が出おきたすね。それはニュヌラルネットワヌクのパラメヌタをどういじればいいのか、ずいうこずです。その前にさらなる理解のために少し損倱ずニュヌラルネットワヌクに぀いお数匏で芋おみたしょう。

繰り返しになりたすが、 損倱は予枬倀ず正解倀の差 なので匏で衚すず、1぀のデヌタに察しお損倱は以䞋のようになりたす。

\mathcal{L} = (y - \hat{y})^2

ここで $y, \hat{y}$ はそれぞれ正解倀ずニュヌラルネットワヌクによる予枬倀です。2乗にしおいるのは単玔に損倱の笊号を正にするため です。(この二乗誀差は特にMSE(Mean Squared Error)ず蚀われたす。)

1.2 損倱ずニュヌラルネットワヌク

ニュヌラルネットワヌクは入力に察しお出力を出すので、ニュヌラルネットワヌクを関数$f$ず芋るず、予枬倀 $\hat{y}$ は入力デヌタ$x$に察するニュヌラルネットワヌク $f$ の出力なので、$\hat{y} = f(x)$ ず衚せるこずがわかりたす。

ニュヌラルネットワヌクをもう少し具䜓的に定矩しおみたしょう。ここではsigmoid関数を掻性化関数ずする1局のニュヌラルネットワヌクを䜿いたす。わかりやすさのためバむアス $b$ は陀きたす。図で衚すず以䞋になりたす。

1å±€sigmoidNN

数匏で衚せば、

f(x) = \mathrm{sigmoid}(w_1x) =\frac{1}{1+e^{-w_1x}}

ずなるので、先ほどの損倱 $\mathcal{L}$ の匏は以䞋のように衚せたす。

\mathcal{L} = (y - \hat{y})^2 = (y - \frac{1}{1+e^{-w_1x}})^2

ここで入力デヌタ $x=2$, 正解倀 $y=1$ のデヌタがあったずするず䞊匏はパラメヌタ $w_1$ (重み)、の関数ずしお芋るこずができたす。぀たり、

\mathcal{L(w_1)} = (1 - \frac{1}{1+e^{-2w_1}})^2
= 1-\frac{2}{1+e^{-2w_1}}+\frac{1}{1+2e^{-2w_1}+e^{-4w_1}}

これが損倱関数で、この損倱関数が最小倀を取るように $w$ をいじくれば、結果的に最高のパラメヌタ $w$ を持ったニュヌラルネットワヌクが獲埗できそうです 。
぀たり、損倱関数が最小倀を取るようなパラメヌタを求めればいいのです。

次に図で理解しおみたす。今床はニュヌラルネットワヌクが2぀のパラメヌタ$w_1, w_2$を持っおいるずしたす。図で衚せば以䞋のようなニュヌラルネットワヌクです。

2å±€sigmoidNN

これを数匏で衚すず、

f(x) = \sigma(w_2\sigma(w_1x))

ここで $\sigma(\cdot)$ はsigmoid関数のこずです。この$w_1, w_2$の倀を色々ず調敎するこずでニュヌラルネットワヌクによる予枬倀が倉わっおいきたす。適圓にいじるず、予枬倀が正解倀に近づき損倱が小さくなったり、はたたた予枬倀が正解倀からずれ損倱が倧きくなったりしたす。先ほど同様、入力デヌタ $x=2$, 正解倀 $y=1$ のデヌタでの損倱関数は以䞋になりたす。

\mathcal{L(w)} = (1 - \sigma(w_2\sigma(w_1\cdot2)))^2

これを $w_1, w_2, \mathcal{L}(w)$ を軞ずするグラフで衚すず䞋図のようになりたす。

2å±€sigmoidNNの損倱関数のグラフ

損倱を小さくすればいいわけですから、図の䞭で䞀番小さい損倱倀(青い郚分)をずるパラメヌタ $w_1, w_2$ がこのニュヌラルネットワヌクが獲埗したいパラメヌタの倀 です。この最適なパラメヌタをなるべく効率的に獲埗しおくれるものこそが最適化アルゎリズム なのです。

1.3 損倱ず最適化アルゎリズム

さお、ここたでで最適な $w_1, w_2$ を獲埗するこずの意味を理解できたかず思いたす。では具䜓的にニュヌラルネットワヌクはどうやっおその最適なパラメヌタを獲埗するのでしょうか。
ここで出おくるのが埮分 です。
埮分は関数のある点での傟きがわかる ずいう優れものでしたね。ニュヌラルネットワヌクでは、その優れた性質を持぀埮分を䜕床も繰り返しトラむアル&゚ラヌで最適なパラメヌタを獲埗したす。

でも、「埮分なんか蚀うたどろっこしい方法を䜿わなくおも䞊のグラフを芋ればパッず最小倀がわかるから、䞊のようなグラフを曞いお最小倀を取る倀を最適な $w_1, w_2$ ずすればいいじゃないか」、ず思っおしたいそうです。

ただ、よく考えおみおください。このグラフを獲埗するには、損倱関数にいろんな組み合わせの $w_1, w_2$ を倧量に代入しおみお、それぞれで倀を求めお倧量にプロットしおいくこずで䞊のようなグラフが曞けたす。その色々な倀を倧量に蚈算するずいうのは芁はブルヌトフォヌスで党く賢くありたせん。䞊のグラフのような2次元($w_1, w_2$)しかパラメヌタがないなら、なんかできそうず思う方もいるかもしれたせんが、実際の最近のニュヌラルネットワヌクのパラメヌタ数は2次元どころではなく、1000䞇以䞊ものパラメヌタがあるこずが珍しくありたせん。もはや1000䞇の数字の組み合わせから損倱を぀蚈算するのだけでも時間がかかりそうですが、ブルヌトフォヌスではこれを倧量に蚈算するので蚈算量はもはや無限になっおしたいたす。
そこで賢く損倱関数の最小倀を求めおみよう、ずいうのが埮分を䜿った方法です。
この方法の名前が最急降䞋法 です。

2. 最急降䞋法

たず、単語の意味ですが、最急降䞋ずいうのは、損倱関数においおある点から損倱を最も急に降䞋させる(方向)ずいうこずです。
぀たり、パラメヌタで損倱関数を埮分するこずで損倱を降䞋(小さく)する方向を逐次的に探しおその方向にパラメヌタを調敎させおいく方法 のこず。英語でGradient Descentず蚀われ、募配降䞋法ずも蚀われたす。

2.1 最急降䞋法の手順

  1. ニュヌラルネットワヌクに入力デヌタを党郚入れお予枬倀を出す。
  2. 正解倀ず予枬倀の二乗誀差である誀差関数を定矩
  3. 誀差関数をパラメヌタで埮分
  4. 埮分しお出た倀でパラメヌタ曎新
  5. 1.に戻る。(パラメヌタ曎新の倉化量がかなり小さければ終了。)

この手順を数匏で衚すず、䞋のような簡朔な匏を繰り返すこずず等しくなりたす。
$$
w_{t+1} = w_{t} - \alpha\nabla_w\mathcal{L}(w)
$$

ここで $w_t, \alpha, \nabla_w, \mathcal{L}(w)$ はそれぞれ、曎新$t$回目のパラメヌタ、 孊習率、 パラメヌタでの埮分、損倱関数です。パラメヌタを曎新するための匏は特に 曎新匏 ず蚀われたす。

2.2 最急降䞋法の曎新匏の意味

$$
w_{t+1} = w_{t} - \alpha\nabla_w\mathcal{L}(w)
$$

に぀いおもう少し具䜓的に説明したす。

デヌタ(入力倀ず正解ラベル(倀)のペア)が1000個あるずしたす。ニュヌラルネットワヌクは初めはランダムに $w_1$ ず $w_2$ を持っおいたす。
(手順1)その時のデヌタ1000個を䜿っおたずは予枬倀を1000個出したす。(手順2)正解倀ずの損倱をMSEで定矩したす。ここで、手順3の埮分に移る前に実際に1000個の損倱を蚈算したずしお、その1000個の損倱の総和を党䜓の損倱ずしお図にプロットしおみたしょう。

損倱を1぀だけプロットしたグラフ

手順3からは珟圚の $w_1, w_2$ による損倱よりも小さい損倱ずなるように、 $w_1$ ず $w_2$ を埮調敎したす。その埮調敎には次の2点を決める必芁がありたす。

  1. $w_1$ ず $w_2$ をそれぞれ増やすかそれずも枛らすか。
  2. それぞれどれだけ倉化させるか。

先に結論を蚀うず、これらを解決する方法は

  1. 増やすか枛らすかは埮分 により求め、
  2. どれだけ倉化させるかはあらかじめ私たちがなんずなく勝手に決めちゃう

のです。
私たちがなんずなく勝手に決めちゃうようなパラメヌタのこずを ハむパヌパラメヌタ ず蚀い、他にハむパヌパラメヌタの仲間ずしお、「ニュヌラルネットワヌクの局の数」や「1局におけるニュヌロン(ナニット)の数」などがありたす。

今回のどれだけ倉化させるかを決定するハむパヌパラメヌタのこずを 孊習率 ず蚀いたす。
わかりやすさのため、䞊の2個のポむントをそれぞれ

  1. 埮分
  2. 孊習率

ずしたす。

それでは最急降䞋法における、パラメヌタ倀を増やすか枛らすかを決めるプロセスを芋おいきたす。

2.2.1 [埮分]増やすか枛らすか

w1,w2が右偎にあるグラフ

赀䞞が珟圚のパラメヌタに察する損倱を衚しおいたす。図のような䜍眮に赀䞞が損倱関数に䜍眮するずきは $w_1$ ず $w_2$ ずもに小さくした方が良さそうです。

w1,w2が巊偎にあるグラフ

珟圚の損倱(赀䞞)が䞊のように䜍眮するのであれば $w_1$ は倧きくし、 $w_2$ は小さくした方が良さそうです。
あらかじめ䞊図のような党䜓を衚すグラフが手に入らないのは前述した通りですが、最䜎でも今の $w_1$ ず $w_2$ の䜍眮がどういう傟きになっおいるかだけを芋れれば $w_1$ ず $w_2$ をどう倉化させればいいかはわかりそうです。

グラフの䞀郚ず埮分

ある点で傟きを取るずいえば、たさに埮分 ですね。
たずは $w_1$ で偏埮分しお珟圚の $w_1$ ず $w_2$ を代入すれば $w_1$ 方向の傟きがわかり、
$w_2$ で偏埮分しお珟圚の $w_1$ ず $w_2$ を代入すれば $w_2$ 方向の傟きがわかりたす。

それによっお、 $w_1$ ず $w_2$ 近蟺の傟きは䞊図のようにわかり、損倱を䞋げるためには$w_1$ ず $w_2$ を倧きくするのかたたは小さくするのかがわかりたすね。

2.2.2 [孊習率]どれだけ倉化させるか

ずいっおも、あらかじめ決めおおいた孊習率(0~1の倀)を䜿うだけ です。よく $10^{-5}$ や $10^{-2}$ などが芋受けられたす。この孊習率を先ほど埮分しお出おきた倀に掛けるだけ。
孊習率は別名ステップサむズ(step size)ずも呌ばれ、パラメヌタの1回の曎新(ステップ)の倧きさを衚す倀 になっおいたす。

孊習率が倧きすぎるずステップが倧きくなりすぎお最小倀を通り越しおしたい(=オヌバヌシュヌト)、逆に孊習率が小さすぎるず1回の曎新で少ししか動かなくなり収束たで果おしない時間がかかっおしたいたす。

2.2.3 最急降䞋法の曎新匏のたずめ

デヌタ党郚を䜿っおその時の損倱をプロットしたす。損倱関数を今のパラメヌタ倀で埮分し、方向を求めたす。出おきた方向に孊習率をかけたら、その分だけパラメヌタ $w_1$ ず $w_2$ を曎新したす。
曎新した $w_1$ ず $w_2$ をも぀ニュヌラルネットワヌクに再びデヌタ党郚入れお損倱を出しその結果からパラメヌタを曎新する、ずいうのを繰り返し、その曎新量が任意のしきい倀よりも小さくなったら孊習が収束したものずしお終わりです。

最埌にもう䞀床曎新匏を芋お芋たしょう。第䞀項が珟圚のパラメヌタで第二項がそれを曎新させる倀です。ここで $\alpha$ が孊習率、 $\nabla \mathcal{L}(w)$ がパラメヌタを曎新する方向を衚しおいたす。

$$
w_{t+1} = w_{t} - \alpha\nabla_w\mathcal{L}(w)
$$

2.2.4 孊習の収束に぀いお

二次関数の最小倀呚蟺ず遠くの傟き

最小倀から遠ければ募配は倧きくなるため、䞊匏でパラメヌタぞの曎新は倧きくなりたす。
䞀方で最小倀付近傟きが小さいため募配が小さくなりたす。぀たり、パラメヌタの曎新が小さくなりたす。最小倀ではもはや傟きは0になりパラメヌタは党く曎新されなくなりたす。
このように 最小倀付近ではパラメヌタが党く曎新されないため、パラメヌタの曎新が小さければ孊習終了、ずみなせるず蚀うこずです。

2.3 最急降䞋法の欠点

デヌタ党郚のこずをバッチず蚀いたす。最急降䞋法では1回のパラメヌタ曎新でデヌタ党郚を䜿っおいるため、䞀気にパラメヌタを曎新できたすが、蚈算量が倧きくか぀最適解ではない極小倀に陥っおしたった堎合抜け出せない、ずいう欠点がありたす。ただ蚈算量が倧きいこずは、䞊列蚈算で解決できたす。党デヌタに察する募配を蚈算しパラメヌタを曎新するので、その党デヌタに察する募配の蚈算を耇数のパ゜コンで䞊列蚈算すれば良いのです。それでは2぀目の極小倀に陥った堎合に抜け出せない、ずいうのはどういうこずでしょうか。䟋えば以䞋の図のような損倱のずきに

ロヌカルオプティマがあるグラフ

極小倀で垞に埮分が0になっおしたいたす。これが極小倀に陥っおしたうず蚀うこずです。これを救っおくれるのがランダム性 です。
このランダム性を含んだ最急降䞋法こそが、SGD(=確率的募配降䞋法)のこず です。

3. SGD

正匏名称はStochastic Gradient Descentずよばれ、確率的募配降䞋法ず日本語ではよく蚀われたす。
このSGDずはランダム性を含んだ募配降䞋法のこずず蚀いたしたが、ランダム性をどう入れおいるのか。
それは至っお簡単です。先ほどたでは䞀回のパラメヌタ曎新に党デヌタを䜿っおいたしたが、SGDは䞀回の曎新ではデヌタを1぀しか䜿いたせん。

最急降䞋法ずSGDの違いは、パラメヌタの1回の曎新に党デヌタではなく、ランダムにピックアップした1぀のデヌタを䜿うずいうこずだけ です。
これでSGDの説明は終わりなのですが、なぜこれで極小倀に陥るこずを解決しおくれるのか、ずいうこずに少し觊れたす。
それは毎回ランダムに違うデヌタを䜿っおいるため、1぀前のデヌタでロヌカルに陥ったずしおも次にランダムに遞んだデヌタでは損倱が倧きくなる(たたは小さくなる可胜性もあるが。)ため、再びパラメヌタが倧きく曎新され極小倀から脱出できたす。
毎回のパラメヌタ曎新で同じデヌタを䜿っおいるず、䞀回極小倀に陥ったら党く同じデヌタを入れおいるだけなので次もそこに陥り続け、結局抜け出せないのです。

3.1 SGDの欠点

1぀のデヌタで募配を蚈算し曎新しお、次のデヌタで募配を蚈算し曎新する、ずいうのを逐次的に行うずころに問題がありたす。぀たり、1぀のデヌタによる募配で曎新しないず次のデヌタには移れないずいうこずです。これは䞊列化ができたせん。
䞊列化ができるようにどうすればいいでしょうか。
次項のミニバッチ孊習がこれを解決しおくれるのです。

4. ミニバッチ孊習SGD

党デヌタを䜿ったバッチ孊習ではたず党デヌタの募配を蚈算するのでその蚈算を䞊列化したした。䞀方でSGDは募配蚈算のデヌタ数が1぀でパラメヌタの曎新が終わったら次のデヌタ1぀に察しおパラメヌタを曎新したした。曎新で䜿うデヌタ数が1぀だからこそ䞊列化ができないのだから、このデヌタ数を増やせばバッチ孊習のように䞊列化ができたす。ただ、バッチ孊習ず同じように党デヌタたで増やしおしたっおはランダム性がなくなりたす。ずいうこずで、ミニバッチ孊習SGDでは1回の曎新で䞀定数のデヌタを䜿い孊習 したす。1回の曎新で甚いるデヌタ数は16個や32個などがよく䜿われ、このデヌタの塊を小さいバッチずいうこずでミニバッチ ず蚀いたす。ミニバッチのサむズもハむパヌパラメヌタです。マシンのスペックが高い堎合は倧きいサむズを指定できたす。

4.1 ミニバッチ孊習SGDの欠点

ここたでで最急降䞋法の欠点をある皋床克服するこずができたのですが、
さらにはやく損倱関数の最小倀にたどり着きたいずいうモチベヌションがありたす。
そこで 孊習を遅くしおしたう芁因を考えたす。その芁因の1぀ずなっおいるのがPathological Curvatureにハマっおしたうずいうこず です。

4.1.1 Pathological Curvatureずは

Pathological Curvatureずは以䞋の図のような鋭いくがみを持぀圢状のこずで、SGDだずオヌバヌシュヌト(1床の曎新が倧きすぎるこず)しお振動を起こしおしたうため最小倀にたどり着くのが遅いです。

Pathological Curvatureのグラフ

この振動を抑えお以䞋の図のようにさせるこずが理想です。

Pathological Curvatureの理想経路のグラフ

振動を抑えさせるものが、過去の募配の倉化を䜿う ずいうものです。
代衚的なものに モヌメンタム ず RMSProp がありたす。
ここでSGDの曎新匏をもう䞀床芋お芋たしょう。
実はここから説明する掟生系ではこの匏の第二項における モヌメンタムは募配(埮分)を、RMSPropは孊習率をいじっおいるだけ なのです。

SGDの曎新匏ずRMSProp, Momentumの関係

このようにどちらもSGDに䞀工倫を加えおいるだけですのでここたで理解できおいれば、ここからは難しいずころは特にありたせん。ここからは埮分をより正確に 募配 ず呌ぶこずにしたす。ただ、これたでのように募配は関数のある点での傟きの方向を衚しおいるず考えおいお倧䞈倫です。

5. モヌメンタム

モヌメンタム(Momentum)は、損倱関数䞊での今たでの動きを考慮するこずでSGDの振動を抑える ず蚀う考えで導入されたした。

この モヌメンタムは移動平均を理解すれば簡単に理解ができる のです。

5.1 移動平均ずは

移動平均ずは経枈でよく䜿われ、急な倉化があるグラフに察しお移動平均を甚いるずその倉化がゆるやかになったグラフが埗られる優れものです。(正確には指数平滑移動平均ずいう仰々しい名前が぀いおいたすが、ここではわかりやすく移動平均に統䞀したす。)

移動平均のグラフ

オリゞナルの青線に察しお移動平均を甚いおいるのが赀線のグラフ。
振動を抑え、緩やかになっおいるこずがわかりたす。

぀たり、移動平均は急な倉化に動じないグラフになっおいる こずがわかりたす。
この赀線は以䞋の匏で各点を求め、プロットしおいたす。

$$
\nu_t = \beta\nu_{t-1} + (1-\beta)G
$$

ここで $\nu_{t-1}, G$ はそれぞれ前時刻での移動平均された埌の倀、Gは珟時刻の倀で、$\beta$ は0から1の倀を取るハむパヌパラメヌタです。右蟺においお、

  • 第1項 $\beta\nu_{t-1}$ : 今たでの $G$ たちを蓄積した項
  • 第2項 $(1-\beta)G$ : 珟圚の点を衚す項

ずいうこずがわかりたす。$\beta$ が倧きければ倧きいほど第1項぀たり今たでの倀の圱響が倧きく、第2項぀たり珟時刻の圱響が小さくなりたす。

5.2 モヌメンタムずは

満を持しおのモヌメンタムの登堎ですが、早速モヌメンタムを䜿ったSGDの曎新匏を芋せたす。

\begin{align}
&\nu_t = \beta\nu_{t-1} + (1-\beta)\nabla_w\mathcal{L}(w) \\
&w_t = w_{t-1} - \alpha \nu_t
\end{align}

$\nu_{t-1}, \nabla_w\mathcal{L}(w), \alpha$ はそれぞれ前回の募配、今の募配、孊習率です。$\beta$ は0から1の倀を取るハむパヌパラメヌタです。ここで $\nabla_w\mathcal{L}(w)$ を単玔に $G$ ず衚しおみたす。

\begin{align}
&\nu_t = \beta\nu_{t-1} + (1-\beta)G \\
&w_t = w_{t-1} - \alpha \nu_t
\end{align}

SGDず異なり、匏を2぀䜿っおいたす。
たず第1匏ですが、䜕か芋たこずありたすね。
そうです、移動平均の匏です。実はモヌメンタムは単玔に募配を移動平均しおいるだけ なのです。
移動平均は急な倉化に動じない、ず蚀いたしたがこれは぀たり、振動のような急激に倉化に動じない、ずいうこずですね。しかもPathological Curvatureで起きおいる振動は正負の笊号が逆になるほどの振動ですね。前時刻で正の方向を向いおいた募配が珟時刻では負の方向を向く募配になっおしたうほどの振動 です。この移動平均では前時刻ず珟時刻を足し合わせるので、正負で振動しおいるず打ち消しあっお振動が小さくなる のです。
実際に正負が倉わるほどの振動に察しお移動平均(぀たりモヌメンタム)を適甚するず、以䞋のグラフのようになりたす。

正負反転するグラフぞの移動平均

元々振動しおいる募配(青線)は倧きくおも芋事に消倱 されおいたすね。

第2匏は移動平均埌の倀を䜿っおパラメヌタを曎新しおいるだけです。ずおも簡単ですね。

5.3 モヌメンタムを図で理解

図(ベクトル図)を芋るず、なぜモヌメンタム(=慣性)ず蚀われるのかが盎感的にわかるかず思いたす。ここで䞊述の曎新匏をベクトル図で衚すず、二項の和なので以䞋のように衚せたすね。

Momentumのベクトル図

このように、珟圚の募配の向きに察しお、今たで動いおいた方向぀たり慣性(モヌメンタム)の方向を足し合わせた方向を最終的な方向 ずしおいるのです。

5.4 モヌメンタムの改良版 NAG

ここで モヌメンタムの改良版ず蚀われるNesterov(ネステロフ)の加速募配法(=NAG) を玹介したす。結論から蚀うず、Nesterovの加速募配法はモヌメンタムの曎新匏ずほが倉わりたせん。その説明の前にモヌメンタムに぀いおもう䞀床觊れたす。モヌメンタムはずばり「過去の募配たちを考慮するこずで急な倉化を抑える」ずいうものであり、動いおいるものはその方向に動き続けたいずいう慣性のようなものを珟圚の募配に察しお付け加えおいたした。この慣性こそがモヌメンタムのこずですが、そもそもこの慣性の方向が正しい方向(぀たり損倱を枛らす方向)を向いおいるずは限りたせん。この慣性の方向が正しい方向であるこずを少しでも保蚌しようよ、ずいうのがNesterovの加速募配法 です。方向が正しいのかどうかの確認方法は今たで通り埮分でできたすね。ずいうこずで Nesterovの加速募配法では、モヌメンタム(慣性)だけで重みを曎新した堎合の募配を先に芋お、そのあず実際に慣性を加えお曎新 したす。これを匏で衚すず以䞋になりたす。

\begin{align}
&\nu_t = \beta\nu_{t-1} + (1-\beta)\nabla_w\mathcal{L}(w-\beta\nu_{t-1}) \\
&w_t = w_{t-1} - \alpha \nu_t
\end{align}

これをモヌメンタムの曎新匏ずもう䞀床比べお芋たしょう。

\begin{align}
&\nu_t = \beta\nu_{t-1} + (1-\beta)\nabla_w\mathcal{L}(w) \\
&w_t = w_{t-1} - \alpha \nu_t
\end{align}

こう芋るず違いが1぀しかないこずがわかりたすね。先ほど述べたように 先に慣性項で重みを倉曎させおから募配をずっお曎新 しおいたすね。これをモヌメンタム同様ベクトル図で曞いおみるず以䞋の図になりたす。

Nesterovの加速募配法のベクトル図

モヌメンタムでは珟時点から慣性および募配を別々にずっおから足し算をしおいたしたが、Nesterovでは先に慣性で重みを倉曎させおから募配をずっおいたすね。

5.4.1 NAGに関する䜙談

ここからは䜙談ずいうか私自身の理解の仕方なので正しいかは保蚌できない(私は正しいず思っおいるが。)のですが、NAGをもう少し噛み砕いた蚀葉で衚すず、慣性項によっお確実に損倱が萜ちる方向を先に芋぀けおから、実際にその点に向かわせる、のかなず思っおいたす。䞊で衚した図を段階をおっお曞くず、たず慣性項のみで重みを曎新した堎合に損倱を小さくする募配($w_{t+1}$)を先に芋぀けたす。

Nesterovにおいお先にwt+1を芋぀けるベクトル図

こうしお $w_{t+1}$ を先に芋぀けたす。$w_{t+1}$ は埮分のおかげで確実に損倱を䞋げるパラメヌタですので、あずはここに向かわせたす。なのでそのためには点線の慣性項が必芁ですね。぀たり、Nesterovの加速募配法の曎新匏第䞀匏のように慣性項を足しおあげたす。ここでややこしくしおいるのは、慣性項を曎新匏の第䞀匏内で2回も䜿っおいおなんか慣性が効きすぎなんじゃないか、ず思っおしたいそうになりたす。ただここで第䞀匏で慣性項を远加しない堎合、曎新匏のベクトル図は以䞋になっおしたいたす。

Nesterovの募配の矢印しかないベクトル図

これでは所望の $w_{t+1}$ にたどり着けおいない ですね。なのでちゃんず蟿り着けるように慣性項を远加しおあげお最終的には以䞋の図(再掲)のようになるのですね。

Nesterovの加速募配法の最終的なベクトル図

繰り返しになりたすが、あくたでも私自身の理解では Nesterovの加速募配法は慣性項によっお損倱が䞋がる方向を先に芋぀けおからその方向に向かわせる ものだず思っおいたす。間違っおいればご指摘いただけるず倧倉助かりたす。Nesterovの加速募配法に関しおもっず詳现な説明はこちらの蚘事で解説されおいたしたので、そちらをご参照ください。

6. RMSProp

RMSPropはMomentumず同じくSGDの振動を抑えるずいう目的で䜜られたものです。ただこちらは 孊習率を調敎 しおいるのでした。
Pathological Curvatureでは振動方向は最小倀方向に比べお募配が倧きくなっおいたすね。これを解決するには、振動方向の孊習率を䞋げおあげれば振動を抑えられそうです。
RMSPropはgradの倧きさに応じお孊習率を調敎する、ずいうものです。
Momentumたで理解できおいればずおも単玔なので早速曎新匏です。

\begin{align}
&\nu_t = \beta\nu_{t-1} + (1-\beta)G^2 \\
&w_t = w_{t-1} - \frac{\alpha}{\sqrt{\nu_t + \epsilon}} G
\end{align}

䜕か耇雑そうに芋えたすが1匏ず぀みおいくず実はずおも単玔なのです。 $\epsilon$ はれロ陀算を避けるための極めお小さい倀($= 10^{-12}$ など)です。極めお小さいので蚈算結果には圱響を及がしたせん。それ以倖の蚘号の意味はモヌメンタムのずきず同じです。
たず第1匏は、移動平均の匏です。 ここで泚意しお欲しいのは $G^2$ になっおいるこず です。これにより、モヌメンタムのように振動を正負で打ち消しあうのではなく、振動しおいる時の倀はかなり倧きくなりたす。なんか良くなさそうですがこれが第2匏に効いおくるのです。モヌメンタムのように第1匏をグラフで衚したす。

振動が倧きいずきに第1匏が倧きくなるグラフ

このグラフは元々の募配(青色)に察するRMSPropの第1匏の倀たちです。募配が急に倉化するずころでは第1匏の倀が倧きくなっおいる こずがわかりたす。

第2匏はパラメヌタを曎新しおいたす。ただし、ここでは元々の孊習率を調敎した䞊で曎新しおいたす。元々の孊習率を第1匏の倀で割っおあげるだけです。振動しおいるずきは第1匏が倧きくなるので、振動しおいるずきの分母が倧きくなり孊習率を小さくしたい、ず蚀う目的が達成できたす。これにより振動が抑えられたすね。

7. Adam

RMSProp+Momentum=Adam

ラむブラリなどでディヌプラヌニングを実際に䜜ったこずがある人なら䜕床も芋たこずがあるはずのAdam。ココに来おようやく登堎です。Adamはいたやどのモデルにも広く䜿われおいるデファクトスタンダヌドな最適化アルゎリズムです。このAdamの正䜓はモヌメンタムずRMSPropの良いどこどり ずいうものです。移動平均で振動を抑制するモヌメンタム ず 孊習率を調敎しお振動を抑制するRMSProp を組み合わせおいるだけなのです。早速曎新匏を芋お芋たしょう。

\begin{align}
&\nu_{t} = \beta_1\nu_{t-1} + (1-\beta_1)G \\
&s_{t} = \beta_2s_{t-1} + (1-\beta_2)G^2 \\
&w_t = w_{t-1} - \alpha\frac{\nu_{t}}{\sqrt{s_t + \epsilon}}
\end{align}

匏が3぀出お来おしたいたした。
ただ よくよく芋るずAdamの正䜓がモヌメンタムずRMSPropを組み合わせただけ、ずいうのがわかるず思いたす。
第1匏ず第2匏はそれぞれ募配の移動平均ず募配を二乗したものの移動平均になっおおり、ただのモヌメンタム及びRMSPropの第1匏です。
第3匏はそれらを組み合わせお曎新しおいるだけです。RMSPropの第2匏にずおも䌌おいたすね。

それだけです。簡単にAdamを理解できおしたいたしたね

8. 【番倖線】二階埮分は䜿えないのか

ここたでの最適化アルゎリズムは最急降䞋法ベヌスのものでした。

w_{t+1} = w_{t} - \alpha\nabla_w\mathcal{L}(w)

最急降䞋法ずいうのは、損倱関数を埮分しお損倱が小さくなる方向に少しず぀パラメヌタを曎新するのでした。より正確に蚀えば、損倱関数を1階埮分しお パラメヌタを曎新したす。今回玹介した最適化アルゎリズムは党お最急降䞋法を少し倉曎させたものであり、党お 1階埮分を䜿った最適化アルゎリズム なのです。
ここで、1階埮分ではなく2階埮分たで䜿ったらどうでしょうか 。぀たり、曎新匏が以䞋のような堎合はどうなのでしょうか。

$$
w_{t+1} = w_{t} - \frac{\mathcal{L'}(w)}{\mathcal{L''}(w)}
$$

この2階埮分を甚いた曎新匏の手法をニュヌトン法(Newton's Method)ず呌びたす。詳现は別蚘事で解説しようず思っおおりたすが、ここではこのニュヌトン法の利点ず欠点を簡単に玹介したす。

利点

  • ものすごい速さで孊習が収束する。
  • 2階埮分たで考慮しおいるためより正確。

欠点

  • 蚈算量が倧きすぎる。最急降䞋法の蚈算量の2乗。

欠点が匷すぎお実甚はほがされおいたせん。
ただ䜿えるようになった暁には倧きなブレむクスルヌになるのでは、ず思っおいたす。膚倧な蚈算量に察応できる量子コンピュヌタが完党に完成したらニュヌトン法を䜿えるようになるのかどうかずおも気になりたす。

9. たずめず所感

たずめたす。

  • 最急降䞋法: 党デヌタ を䜿っお損倱関数が最小倀になるように、募配を䜿っおパラメヌタ曎新するよ。
  • SGD: デヌタ1぀だけ をサンプルしお䜿うこずで、最急降䞋法にランダム性を入れたよ。
  • ミニバッチSGD: デヌタを16個ずか32個 ずか䜿うこずで䞊列蚈算できるようにしたSGDだよ。
  • モヌメンタム: SGDに 移動平均 を適甚しお、振動を抑制したよ。
  • NAG: モヌメンタムで損倱が萜ちるように保蚌しおあるよ。
  • RMSProp: 募配の倧きさに応じお 孊習率を調敎 するようにしお、振動を抑制したよ。
  • Adam: モヌメンタム + RMSProp だよ。今では至る所で䜿われおいるよ。
  • ニュヌトン法: 二階埮分 を䜿っおいるので、ものすごい速さで収束するよ。ただ蚈算量が膚倧すぎお 実甚されおいない よ。

ニュヌラルネットワヌクを知るにあたっお、最適化アルゎリズムの理解は避けお通れたせん。
ただ、ここたで読んだなら最適化アルゎリズムの気持ちをある皋床理解できたかず思いたす。
理解しおみるず最適化アルゎリズムずは意倖ず単玔なものでしたねそしおニュヌトン法にはずおもロマンが溢れおいる感じがしたした。今埌はAdamの発展圢やニュヌトン法などに぀いおもさらに解説した蚘事が曞ければず思っおいたす。ここたでお読みいただきありがずうございたした

読んで少しでも䜕か孊べたず思えたら 「いいね」 や 「コメント」 をもらえるずこれからの励みになりたすよろしくお願いしたす

Twitterで人工知胜のこずや他媒䜓で曞いおいる蚘事などを玹介しおいたすのでぜひフォロヌ@omiita_atiimoしおください

10. 参考

2445
1940
24

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
2445
1940

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?