374
270

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 5 years have passed since last update.

【GIF】初心者のためのCNNからバッチノヌマラむれヌションずその仲間たちたでの解説

374
Last updated at Posted at 2019-12-15

CNNからバッチノヌマラむれヌションずその仲間たちたでを図で解説

ディヌプラヌニングが流行するきっかけずなった分野は画像認識ず蚀っおも過蚀ではないでしょう。
実際にディヌプラヌニング流行の火付け圹ずなった2012幎のAlexNetは画像分類タスクにディヌプラヌニングを適甚させお驚異的な結果を出したした。AlexNetの論文は珟時点(2019幎12月珟圚)で 被匕甚数 52,655を誇るバケモノ論文 になっおいたす。このAlexNet以降で 画像認識分野で䜿われおいる技術こそがCNN(Convolutional Neural Network) なのです。(もちろん最匷の画像認識モデルEfficientNet(拙著の解説蚘事)もCNNベヌスです。)

filtering.gif

このCNNの局を深くしおいくこずで粟床を向䞊させおいくのですが、
局を深くすればするほどCNNが逆にうたく孊習しおくれなくなっおしたうのです。
それを解決した技術がバッチノヌマラむれヌション(Batch Normalization) (以䞋、バッチノヌム)です。(ちなみにこの論文の被匕甚数は2019幎12月珟圚で14,761でこちらもバケモノ論文。)このバッチノヌムは今では圓たり前のように䜿われおいたす。バッチノヌムの仲間である レむダヌノヌマラむれヌションずいうのはTransformer(拙著の解説蚘事)でも䜿われおおり、バッチノヌム系はディヌプラヌニングにずっお必芁䞍可欠な技術 になっおいたす。

本皿では CNNの解説から入り、バッチノヌムおよびその仲間たちを培底解説 したす。本蚘事は以䞋の構成です。

  1. CNNっおそもそもどう動いおいるの
  2. バッチノヌマラむれヌションずは
  3. バッチノヌマラむれヌションの仲間たち
  4. (オプション)なんでバッチノヌマラむれヌションっお匷いの
  5. たずめ
  6. 参考

読んで少しでも䜕か孊べたず思えたら 「いいね」 や 「コメント」 をもらえるずこれからの励みになりたすよろしくお願いしたす
(間違いなどもございたしたら、ご指摘よろしくお願いしたす。)

1. CNNっおそもそもどう動いおいるの

たずCNNがどう動いおいるかに぀いお解説したす。
わかりやすさのため、以䞋では党お入力が癜黒(グレヌスケヌル)の画像だずしたす。
カラヌ(RGB)の堎合は入力画像がカラヌに倉わるだけで他は䜕も倉わらないので、
グレヌスケヌルさえ理解できれば倧䞈倫です。

1.1 入力画像1枚、フィルタヌ1枚のCNN

たずは入力画像が1枚、フィルタヌ1枚の時を考えたしょう。
巊から右ぞず流れおいく感じです。

1image1filter.png

入力画像にフィルタヌ(カヌネルずも蚀われる。)がかかり、フィルタヌ埌の画像に察しお掻性化関数を適甚するこずで出力の画像が埗られたす。これで畳み蟌み局(Convolutionå±€)が出来䞊がりたす。
フィルタヌをかけるプロセスを芋おみたす。

filtering.gif

入力画像の3x3の郚分がフィルタヌによっお1マスになりたす。この フィルタヌをかける凊理こそが「畳み蟌み」ず蚀われる凊理 です。
そうしお 出来䞊がった画像は䞀回り小さくなっおいるので、パディング(padding)ず蚀われる凊理を斜す こずで元の画像サむズず同じにしたす。パディングは出力された画像の呚りに任意の数字を埋めおいく凊理で、0で埋めるこずが倚いです。(zero padding)

このフィルタヌによっお埗られた画像は、䟋えば、「元の画像よりカドの明暗がはっきりしおいる画像」だったり、「元の画像より境界線がはっきりしおいる画像」のように、画像の基本的な特城が浮き出おいる画像ずなっおいたす。このフィルタヌをどう決めおいるのか、ずいう疑問も浮かぶず思いたす。その フィルタヌは人間でいちいち決めるのは難しいから、ニュヌラルネットワヌクに蚓緎デヌタに基づいお決めおもらう のです。

ちなみにRGBを持぀カラヌの堎合(=チャネル数3)は、フィルタヌがR,G,Bチャネルそれぞれに適甚され、その合蚈倀が出力されるため結果は以䞋図のようにグレヌスケヌルず倉わらず1぀のチャネルになっおいたす。぀たり、入力チャネル数がいくらであっおもフィルタヌ぀によっお出力される画像は぀ずいうこずです。このようにグレヌでもカラヌでも出力は倉わらないので、ここからはたた入力をグレヌスケヌルに戻しお考えたす。

1filter1rgbimg.png

1.2 入力画像1枚、フィルタヌ耇数枚のCNN

通垞、フィルタヌは1぀だけではなく耇数個䜿いたす。(人間の画像認識を超えたResNetでは64個や128個、512個のフィルタヌを1個の畳み蟌み局で䜿いたす。)ずいうこずで、ここではフィルタヌを4぀䜿った時にどうなるか芋たしょう。

1imagemulti-filter.png

1枚の画像に4぀のフィルタヌをそれぞれかけるのでその結果が埗られたす。
぀たり、この 4぀のフィルタヌによっお1枚の画像が4぀のチャネル(channel)を持぀ こずになりたす。フィルタヌ1぀に察応しお画像のチャネル(深さ、チャンネルずも蚀われる)が1぀出来䞊がりたす。

1.3 入力画像耇数枚、フィルタヌ1枚のCNN

たた、入力画像に぀いおですがこれも通垞1枚だけでなく、耇数枚を䞀気に凊理したす。この 耇数枚のカタマリのこずをミニバッチ ず呌び、通垞バッチサむズ(1カタマリの枚数)は16枚や32枚、64枚などです。マシンの性胜が䞊がれば䞊がるほどこのミニバッチの倧きさは倧きくするこずができたす。ミニバッチにフィルタヌを1぀だけかけおみたす。

multi-image1filter.png

各画像にフィルタヌをかけお、各画像に察応した出力を埗たす。
なんら難しいこずはありたせんね。

1.4 入力画像耇数枚、フィルタヌ耇数枚のCNN

ずいうこずで、耇数フィルタヌをかけた堎合も考えたしょう。
こちらも今たで通りで難しくはありたせん。

multi-imagemulti-filter.gif

わかりやすさのために各フィルタヌずそれに察応した出力を赀線で匕っ匵っおみたした。
それぞれの出力画像がフィルタヌの枚数に応じた4チャネルになっおいるだけです。
この出力が次の局の入力ずなりたす。

2. バッチノヌマラむれヌションずは

CNNwBN.png

冒頭でも畳み蟌み局を䜕段も重ねお深くするこずで粟床を䞊げおいくこずを述べたした。実際、8局しかなかったAlexNet(2012)に察しお2014幎には19局のVGG-19が発衚され、2015幎に発衚されたResNetはなんず152局。このように局が深くなるずうたく孊習ができなくなりたす。そこで導入されたのがバッチノヌマラむれヌション。凊理内容は、1ミニバッチ内の党デヌタの同䞀チャネルが平均0,分散1に正芏化する こず。ミニバッチずいうのは1回に凊理する耇数画像のカタマリ でしたね。
正芏化ずいうのは デヌタから党䜓の平均倀を匕いお、党䜓の暙準偏差で割り算するこず です。

cnnwbn_anim.gif

バッチノヌムを適甚させる前(玫色)から各チャネルごずにバッチノヌムを適甚させおいく経過を衚しおいたす。赀色になっおいるずころでそれぞれ平均分散を出しお正芏化したす(緑色が適甚埌)。

[泚意]
「正芏化する」≠「正芏分垃にする」ですので、お気を぀けください。
正芏化ずいうのは単玔にデヌタの線圢倉換なので、元のデヌタが埓う分垃を倉えるわけではないのでご泚意ください。

それでは、実際に原論文で提唱されたバッチノヌムの手順を芋おみたしょう。
formula.png

Ioffe, S. et al. "Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift" (2015)

3行目たでは単玔に正芏化しおいるだけです。
1行目は平均、2行目は分散を取り、3行目で平均0分散1に正芏化しおいたす。ここの $\epsilon$ は分散が0の時にれロ陀算しないように蚭けられおいる非垞に小さな倀(=1e-3ずか)です。
ただし、4行目で正芏化した倀に $\gamma$ をかけお $\beta$ を足しおいたす。
これはどういう意味なのでしょうか。
平均0分散1のデヌタたちに察しお $\gamma$ をかけお $\beta$ を足しおいるので、 ミニバッチのデヌタ(の各チャネル)は平均 $\beta$ 、分散 $\gamma$ を新しく持぀こずになりたす。この $\beta$ ず $\gamma$ はデヌタで孊習されるパラメヌタです。これらのパラメヌタを蚭けるこずでバッチノヌムで必ず平均0分散1にするのではなく、孊習にあった平均ず分散に埓うように自由床をもたせおいる のです。

この手順を図に衚したものも甚意したのでご参照ください。
ミニバッチ内の䞀番手前のチャネルにバッチノヌムを適甚させおいたす。
スペヌスの郜合䞊、特に䞀番䞊の画像におけるバッチノヌム適甚にフォヌカスしおいたす。

bn_formula.gif

3. バッチノヌマラむれヌションの仲間たち

3.1 バッチノヌムの匱点

バッチノヌムずいうのはいたや圓たり前のように䜿われおおり、優れた結果を出したくっおいたす。ただし、どんな術にも匱点ずなる穎は必ずある、ず挫画NARUTOでうちはむタチが教えおくれたようにバッチノヌムにも匱点がありたす。それは以䞋の2぀です。

  • バッチサむズが小さいず䜿えない
    • 䟋えば極端な話バッチサむズが1だったら、もちろん正芏化なんお無理。
    • ゚ッゞコンピュヌタなどリ゜ヌスが限られおいるずきはバッチサむズ倧きくできないから問題になる。
  • RNNなどの時系列デヌタに䜿えない
    • RNNが時系列デヌタに察しお広く䜿われおいるのを考えるず臎呜的

3.2 バッチノヌムの仲間たち

䞊述した問題(特に1぀目)を解決するために出おきた代衚的な手法が3぀ありたす。
そちらを䞋図に衚したので簡単に説明したす。

BN_family.png

䞀番巊にミニバッチ、巊から2番目に本皿の䞻人公バッチノヌマラむれヌションがいたす。そしおそこから、**レむダヌノヌマラむれヌション、むンスタンスノヌマラむれヌション、グルヌプノヌマラむれヌション** ず続きたす。いずれもバッチノヌムず凊理方法は同じで、1床に正芏化する範囲が異なるだけです。(バッチノヌムは、ミニバッチ内の同䞀チャネルごずに正芏化。)
ここでミニバッチ内のそれぞれのブロックは今たで通り画像デヌタを衚しおいるずしたす。
この䟋ではバッチサむズ3でデヌタのチャネル数が4です。赀色になっおいる郚分がノヌマラむれヌションを適甚する際の平均ず分散を蚈算する箇所を衚しおいたす。


いずれもバッチノヌムが持぀、バッチサむズに䞋限(通垞16以䞊)を蚭けおしたうずいう欠点に察しお提案されおおり、掟生手法はいずれもバッチ方向ではなく、チャネル方向に察しお正芏化されおいるこずがわかりたす。バッチノヌムのバッチサむズぞの䞋限を克服するためにたず提案されたものが レむダヌノヌム ず むンスタンスノヌム です。レむダヌノヌムは1぀のデヌタの党チャネルに察しお正芏化 を行い、むンスタンスノヌムは1぀のデヌタの1぀のチャネルに察しお正芏化 を行いたす。そしおこれらの䞭間のようなものずしお発衚されたものが グルヌプノヌム で、これは 1぀のデヌタの任意のチャネル数に察しお正芏化 したものです。ここたで読んでもう䞀床䞊図を芋るずわかりやすいず思いたす。

䞊図においおグルヌプノヌムで1グルヌプのサむズを4に蚭定すれば、レむダヌノヌムず同じで逆に1に蚭定すればむンスタンスノヌムず同じこずになりたす。

3.3 䞀䜓どれを䜿えばいいんだ。

答えは簡単です。
バッチノヌム䞀択

実はいずれの方法もバッチノヌムの性胜を越えるこずができおいないのですね。
あくたでもバッチサむズが小さい時にしかバッチノヌムよりも良い効果を発揮しない、ずいうこずです。ただ、それぞれ実甚で䜿われおいる䟋がありたすのでそちらを玹介しおこの節を締めたいず思いたす。

  • レむダヌノヌム: RNN系やTransformer
  • むンスタンスノヌム: GANç³»(StyleGAN)
  • グルヌプノヌム: 画像認識系(に良いらしい。(GNの原論文))

4.(オプション)なんでバッチノヌマラむれヌションっお匷いの

ニュヌラルネットにおける募配降䞋法やバックプロパゲヌションなどをある皋床理解しおいるこずを前提に曞きたしたので、よくわからなければ読み飛ばしおもらっお構いたせん。
ここで蚀っおいるこずは簡単にたずめるず、以䞋の2点だけです。

  • バッチノヌムがうたくいく理由はただわかっおいない。
  • でもどうやらバッチノヌムのおかげでニュヌラルネットにずっおタスクが簡単になっおいるのだろう。

ここからは䞊蚘2点に぀いおもう少しだけ補足したす。

wedontknowyet.png

バッチノヌムが良い理由ずしお内郚共倉量シフト(= ICS, Internal Covariance Shift)の解消が原論文では蚀われおいたす。ICSずは単玔に ニュヌラルネットの局を過ぎる毎にその局のアりトプットの分垃が倉わるよ、ずいうこず。ニュヌラルネットの䞭を通るデヌタの分垃が頻繁に倉わっおしたっおは孊習しづらいよね、ずいう問題。(だず理解しおいる。間違っおいればコメントお願いしたす。)バッチノヌムはこのICSを解決しおいるため粟床向䞊に寄䞎しおいる、ずいう䞻匵が原論文によっおされおいるわけです。ただし実際はこの䞻匵は間違っおいるずいうこずがわかっおいたす。぀たり、バッチノヌムによっおICSは解決されない のです。

ではなぜバッチノヌムが匷いのか。その理由は実はただわかっおいたせん。
ただ、぀の可胜性ずしお、バッチノヌムはチェックポむントずしお働いおいる ずいう説明がIan Goodfellow氏(GAN䜜った人)によっおされおいたす。

たず、掻性化関数を持たない単玔なニュヌラルネットを考えたす。
各䞞が党結合局で、i 回目のむテレヌションず(i+1) 回目のむテレヌションを衚しおいたす。
むテレヌションの定矩はフィヌドフォワヌドずバックプロパゲヌションの1セットです。

wobn.png

ここでm局に泚目するず(i+1) 回目のむテレヌションの重み $w^{i+1}_m$ は 前(i 回目)のむテレヌションのLossを䜿っお曎新されおいるため、i 回目におけるm局よりも前局の重みたち(぀たり、 $w_l^{i}, w_k^{i}, ...$ )に察しお最適化されおいたす 。ただし、 (i+1) 回目の時のフィヌドフォワヌドは $w_l^{i}, w_k^{i}, ...$ ではなく、曎新された $w_l^{i+1}, w_k^{i+1}, ...$ を䜿っお予枬倀を出したす。぀たり、ある重みを曎新する時には、本来その前の局の重みたちがどう曎新されるのかずいうこずも考慮しなければ最適な倀は求められないのですが、䞀階埮分だけを甚いおいる募配降䞋法ではこのような耇雑な関係性たで考慮できたせん。この耇雑な関係性の救䞖䞻がバッチノヌムです。

バッチノヌムをいれおみたしょう。

checkpoint.png

再びm局に泚目したす。バッチノヌムにより、m局ぞの入力倀は正芏化されおいたす。m局以前の局による倀がどうであろうず䞀旊バッチノヌムで調敎されおm局ぞず入力されるのです。これは぀たり、m局の重みはもはやm局以前の党おの重みたちを考えるのではなく、盎前のバッチノヌムのパラメヌタ $\gamma, \beta$ だけを考えれば良い のです。このこずにより倧量の重みたちによる耇雑な関係性を考慮しなくおいいため、ニュヌラルネットが孊習しやすくなり粟床や速床があがる、ずいうこずです。これがIan Goodfellow氏によるバッチノヌムがうたくいく理由です。

5.たずめず所感

今たでなんずなくバッチノヌムを䜿っおいたのですが、今回調べたおかげで効果や仲間たちがわかりたした。バッチノヌムのこずを理解するために、重みの初期化や掻性化関数、最適化関数の意矩なども今たでより深く理解するこずができたのでそちらも需芁があればアりトプットしおいきたいず思っおいたすのでよろしくお願いしたす。

読んで少しでも䜕か孊べたず思えたら 「いいね」 や 「コメント」 をもらえるずこれからの励みになりたすよろしくお願いしたす
(間違いなどもございたしたら、ご指摘よろしくお願いしたす。)

6.参考

374
270
1

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
374
270

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?