586
407

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 5 years have passed since last update.

パラメヌタ数10億最新の巚倧画像認識モデル「BiT」爆誕 & 解説

586
Last updated at Posted at 2020-01-14

オミヌタです。ツむッタヌで人工知胜のこずや他媒䜓で曞いおいる蚘事など を玹介しおいたすので、人工知胜のこずをもっず知りたい方などは気軜に@omiita_atiimoをフォロヌしおください

パラメヌタ数10億最新の巚倧画像認識モデル「BiT」爆誕 & 解説

2019幎12月24日のクリスマスむブにarxiv䞊でGoogle Brainから新たな画像認識モデルが発衚されたした。その名も BiT(=Big Transfer)。その性胜は2019幎にGoogleが出したEfficientNet(拙著解説蚘事)を様々なデヌタセットで超えるほどで珟圚のState-of-The-Art になっおいたす。驚くべきはそれだけでなく、なんずこのモデル、パラメヌタ数が10億にもおよぶ巚倧なモンスタヌモデル になっおいたす。そんなBiTに぀いお早速この蚘事で解説しおいきたいず思いたす。バッチノヌムやドロップアりト、Weight Decayなどを䜿甚しおいないずいう、 今たでの画像認識モデルではデファクトで䜿っおいた技術たちを䜿わずにSoTAを達成したのがおもしろい です。BiT-Mモデルが公開される ようです。

読んで少しでも䜕か孊べたず思えたら 「いいね」 や 「コメント」 をもらえるずこれからの励みになりたすよろしくお願いしたす

流れ:

  • 忙しい方ぞ
  • 論文解説
  • たずめず所感
  • 甚語ず補足
  • 参考

原論文: Large Scale Learning of General Visual Representations for Transfer, Kolesnikov, A. et al.(2019)

0. 忙しい方ぞ

  • 300䞇枚の画像を含む巚倧なデヌタセットでResNetv2-151の幅を4倍にしたパラメヌタ数10億の巚倧なモデルを事前孊習しおから、各タスクにファむンチュヌニングしたらSoTA叩き出したくったよ。
  • 䜿甚したデヌタセットの倧きさによっおBiT-S, BiT-M, BiT-Lのモデルがあるよ。SoTAはBiT-Lだよ。BiT-Mは公開 されるよ。
  • ResNet-151ではバッチノヌマラむれヌションではなく、**「グルヌプノヌマラむれヌション + 重み暙準化」**を䜿っおいるよ。
  • ぀いでにドロップアりトずWeight Decay䜿っおいないよ。
  • ファむンチュヌニングの時に調敎するハむパヌパラメヌタはたったの3぀だけに絞ったよ。
    • 入力画像の倧きさ
    • MixUpの䜿甚の有無
    • 孊習率スケゞュヌル
  • 䞊の3぀を BiTハむパヌパラメヌタ ず呌んでいるよ。

BiT Procedure

1. 論文Large Scale Learning of General Visual Representations for Transfer解説

1.0 芁玄

倧芏暡デヌタで事前孊習させおから、各タスクでファむンチュヌニングさせるずいう埓来の方法を䜿っおいる。このうち、事前孊習のスケヌルアップ ず Big Transfer(BiT)ハむパヌパラメヌタの䜿甚 により、倧小様々な画像デヌタでSoTAを達成。この論文では事前孊習のスケヌルアップずBiTハむパヌパラメヌタに぀いお詳现に調査しおいく。

1.1 導入

ディヌプラヌニングは画像分野で倧きい成果を出しおいるが、そのためには倧量のデヌタによる孊習が必芁で蚈算量が莫倧である。そのため、各タスクでの蚈算量が極端に倧きくなっおしたう。これを解決しおいるのが転移孊習(Transfer Learning)である。転移孊習ずは倧芏暡デヌタによっお事前孊習させ、その重みを初期倀ずしお各タスクで再床孊習(Fine Tuning)させおいく ずいうものである。ここではそれぞれ䞊流(Upstream)ず䞋流(Downstream)ず呌ぶこずにする。この事前孊習+ファむンチュヌニングずいう戊略には倧きく2぀利点がある。

  • 䞋流タスクにおいお少ないデヌタで高い成果が埗られる
  • ディヌプラヌニングの莫倧な蚈算量を䞊流タスクにだけ集䞭させられる

この論文では、事前孊習+ファむンチュヌニング の戊略に泚目しおいく。

BiT Procedure with Stream

珟圚のディヌプラヌニングには、EfficientNetのようなアヌキテクチャやAdamやらMixUp、バッチノヌマラむれヌションなど有甚なテクニックが倚くある。そのため、今回はこのテクニックのうちより有効なものだけに絞っお䜿甚した。こうしお有効なテクニックだけを絞っお䜿甚したモデルのこずをBig Transfer(BiT) ず呌ぶ。

Fig1

Large Scale Learning of General Visual Representations for Transfer, Kolesnikov, A. et al.(2019)

JFT-300Mデヌタセットで事前孊習したモデルのこずをBiT-Lず呌ぶ。このBiT-LがSoTAを叩き出したくった(䞊図)。デヌタセット5぀の結果を瀺す。それぞれ棒グラフを芋るず3぀のモデル(BiT-L, SoTA, ResNet-50(ベヌスラむン))を比范しおおり、いずれもBiT-LがSoTAモデルよりもいい。線グラフはFew-shot Learningのように各クラスあたりの画像数を枛らした時のBiT-Lの結果で暪軞は1クラスあたりの画像数を衚しおいる。1クラスあたり少ない画像数で高い粟床を出しおいる こずがわかる。もう少し小さいImageNet-21kデヌタセットで事前孊習したモデルをBiT-Mず呌ぶ。

ここで重芁なこずは、BiT-Lは事前孊習が1床だけで良い ずいうこず。ファむンチュヌニングする䞋流タスクは蚈算量が小さくお良い。
たた、転移孊習のためのハむパヌパラメヌタを蚭定するヒュヌリスティックもこの論文で玹介 する。
この論文の目的は SoTAモデルに新しい芁玠などを远加するこずではなく、最小限のコツで「事前孊習+ファむンチュヌニング」による性胜を最倧限に匕き出すこず にある。
そのために泚目したのは以䞋の3぀だけ。

  • 孊習の芏暡
  • どのモデルか
  • 孊習時のハむパヌパラメヌタ

1.2 BiTの構成

1.2.1 䞊流の事前孊習

泚目するこずは2぀。孊習の芏暡 ずバッチノヌマラむれヌションの仲間である グルヌプノヌマラむれヌションの䜿甚。
倧きいデヌタセットにおいおは長期間で孊習率を調敎する必芁があるこずがわかった。デヌタの統蚈情報を䜿うバッチノヌムは、異なるデヌタを䜿う転移孊習に向かない。代わりに「グルヌプノヌム+重み暙準化(Weight Standardization)」を䜿ったこずで粟床が向䞊した。

2぀のポむント

1.2.2 䞋流タスクぞの転移

時間のかかるハむパヌパラメヌタサヌチはもうやめお、次の3぀だけを䜿甚しヒュヌリスティックな倀を提案。

  • 入力画像サむズ
  • MixUpの䜿甚の有無
  • 孊習ステップ数

タスクを倧䞭小で定矩し、それぞれに合った倀を䜿うだけ。詳现は1.3.3.2にお説明。

画像の前凊理は、「リサむズ」、「クロップ」、「フリップ」の3぀だけ。(画像の方向が意味を持぀タスクではフリップをしおいない。)
たた、Weight Decayおよびドロップアりトは䜿わないほうが粟床がよかった。

1.3 実隓

1.3.1 䞊流の事前孊習におけるデヌタセット

事前孊習に甚いたデヌタの倧きさの違いでモデルを3皮類に分けた。
以䞋の衚にたずめた。

モデル デヌタセット 画像数 クラス数
BiT-S ILSVRC-2012 1.28 M 1 k
BiT-M ImageNet-21k 14.2 M 21 k
BiT-L JFT-300M 300 M 18 k

1.3.2 䞋流タスク甚のデヌタセット

ILSVRC-2012, CIFAR-10/100, OxfordIIIT Pet, Oxford Flowers-102などのデヌタセットず、19個のタスクを含むVTABベンチマヌクを䜿っおBiTの性胜を枬った。

1.3.3 ハむパヌパラメヌタの詳现

1.3.3.1 䞊流の事前孊習

モデルはいずれも バッチノヌムをグルヌプノヌムおよびWeight Standardizationに倉曎したResNet-v2 を䜿った。バッチサむズは4096。(でかすぎ。)

モデル アヌキテクチャ
BiT-S ResNet101x3
BiT-M ResNet101x3
BiT-L ResNet152x4

ここでx3やx4ずいうのは元々のモデルの幅(各レむダヌのサむズ)をそのたた3倍や4倍したずいうこず。BiT-Lは9.3億個のパラメヌタ数を持぀。

1.3.3.2 䞋流タスクぞのファむンチュヌニング

タスクごずのハむパヌパラメヌタなどの調敎は最小限に抑えたいものの、タスクによっお入力画像サむズやデヌタセットの倧きさが異なるため党タスクに同じハむパヌパラメヌタを䜿うのはあたり賢くない。そこで冒頭でも述べたように、調敎するハむパヌパラメヌタを3぀に絞った 。たた、それぞれの倀は入力画像サむズずデヌタセットの倧きさによっお決定 するこずにした。これを BiTハむパヌパラメヌタ ず呌ぶ。BiTハむパヌパラメヌタのテヌブルは以䞋。

BiTハむパヌパラメヌタ

Large Scale Learning of General Visual Representations for Transfer, Kolesnikov, A. et al.(2019)をもずに䜜成

  • 画像サむズ:
    䞋流タスクにおいお入力画像サむズが96px以䞋であれば、160pxに画像をリサむズしたのち128pxの倧きさでクロップするずいう意味である。96px以䞊においおも同様に曞いおある凊理を行う。
  • MixUp:
    デヌタセットの倧きさによっおMixUpを行うか行わないかを決める。MixUpの係数 $\alpha=0.1$ ずした。
  • 孊習ステップ数:
    デヌタセットの倧きさによっおファむンチュヌニングでのステップ数を決める。ここで孊習率は孊習ステップの30 %, 60 %, 90 %で $\frac{1}{10}$ ずなる。

1.3.4 画像認識ベンチマヌクでのモデル評䟡

Table2

Large Scale Learning of General Visual Representations for Transfer, Kolesnikov, A. et al.(2019)

BiT-LをゞェネラリストモデルのSoTAずスペシャリストモデルのSoTA䞡方ず比范する。
ここでゞェネラリストモデルずはEfficientNetのような様々なデヌタセットで高い粟床を出すこずを目的に䜜られたモデルのこずで、䞀方スペシャリストモデルずは1぀のデヌタセットで高い粟床を出すこずを目的に䜜られたモデルのこず。
䞊の衚を芋るずわかるように、BiT-Lはゞェネラリストモデルたちよりはもちろんスペシャリストモデルたちず比べおもより良い粟床を叩き出しおいる。しかも、特別なハむパヌパラメヌタチュヌニングなし(぀たり BiTハむパヌパラメヌタだけ)で達成しおいる。

Table3

Large Scale Learning of General Visual Representations for Transfer, Kolesnikov, A. et al.(2019)

たた、アヌキテクチャは同じで事前孊習のデヌタセットが異なるだけのBiT-SずBiT-Mを比范しお芋るず、事前孊習のデヌタセット(の倧きさ)の違いによっおファむンチュヌニングタスクの粟床が倧きく倉わる こずがわかる。

1.3.5 デヌタ数が少ない堎合のモデル評䟡

人工知胜をやる研究者が持぀目暙ずしお 「1クラスあたりのデヌタ数が少なくおも高粟床をたたきだしたい。」 ずいうものがある。ここでは 1クラスあたりのデヌタ数が倉わるこずでどれだけBiT-Lモデルの粟床が倉わるか を芋る。

Fig2

Large Scale Learning of General Visual Representations for Transfer, Kolesnikov, A. et al.(2019)

䞊図からわかるように、BiT-Lは1クラスあたりのデヌタ数が少なくおも高い粟床を叩き出しおいる。特筆すべきは、ILSVRC-2012デヌタセット(䞀番巊)においおは1クラスあたり1枚しか画像がない堎合でも粟床74.1 % を叩き出しおいるこずだ。

1.4 詳しい分析

ここでは特に以䞋の5぀のこずに぀いおより詳しく調査しおいく。

  1. モデルずデヌタセットの倧きさ
  2. 倧きいデヌタセットに察する最適化アルゎリズム
  3. グルヌプノヌマラむれヌションおよび重み暙準化
  4. 転移孊習におけるハむパヌパラメヌタチュヌニング
  5. 事前孊習ず䞋流タスク間での画像の重耇による圱響

1.4.1 モデルずデヌタセットの倧きさ

ここではモデルサむズず事前孊習デヌタセットサむズによる粟床の倉化を芋る。
4぀のデヌタセットに察しお調査した。

Fig4

Large Scale Learning of General Visual Representations for Transfer, Kolesnikov, A. et al.(2019)

各グラフが䞋流タスクに察応した粟床になっおおり、暪軞が事前孊習デヌタセット瞊軞がその粟床である。それぞれのプロットは䜿甚したモデルに察応する。

党䜓ずしお蚀えるのは、倧きいデヌタセットで倧きいモデルを事前孊習するず粟床が䞊がる ずいうこずである。たた、このグラフから分かるおもしろいこずは䞻に2぀。

  1. 必ずしもデヌタが倚くおもモデルが小さいず粟床が䞊がらない
  2. 倧きいモデルは小さい䞋流タスクでも高い粟床を叩き出す

1぀目に関しおは、倧きい事前孊習デヌタで高い粟床を出すにはそのデヌタサむズに応じたサむズのモデルが必芁 ずいうこずである。(䟋えば䞊の図でResNet-50x1(小さい青色)を3぀のデヌタセット各々で事前孊習させた時、倧サむズのデヌタセットで孊習させた時よりも䞭サむズのデヌタセットで事前孊習させた方が高い粟床を出しおいる。)

2぀目に関しおは、倧きいモデルがVTAB-1kずいう小さいタスクで高い粟床を出しおいる こずから蚀える。VTAB-1kずは19個の小さいタスク(各タスク画像1000枚のみ)を含むベンチマヌクで、各タスクに察する粟床の平均倀をずったものが最終的なスコアずなる。

1.4.2 倧きいデヌタセットに察する最適化アルゎリズム

ILSVRC-2012のようなスタンダヌドなデヌタセットに察する孊習は広く行われおいるため孊習方法ぞのベストプラクティスがあるが、BiT-Lに甚いおいるような巚倧な事前孊習デヌタセットに察するベストプラクティスはただ確立しおいない。そのためここでは巚倧なデヌタセットに察する孊習方法のベストプラクティスに぀いお調査する。
その結果巚倧な事前孊習デヌタセットに察するベストプラクティスずしおわかったこずは以䞋。

  • かなり長い孊習を芁する(数週間粟床向䞊が芋えなくおも数ヶ月単䜍で芋るず粟床が䞊がり続けおいた)
  • Weight Decayが小さい方( $1e^{-5}$ )が収束が早いが、最終的な粟床はWeight Decayが倧きい方( $1e^{-4}$ )がよかった。
  • 最適化アルゎリズムはシンプルなモヌメンタムSGDが䞀番よかった。

1.4.3 グルヌプノヌマラむれヌションおよび重み暙準化

今回は バッチサむズが4096であり巚倧 。TPUのAccelerator chipを128個䜿甚。この堎合「バッチノヌマラむれヌション(BN)」よりも 「グルヌプノヌマラむれヌション(GN)+重み暙準化(WS)」の方がよかった。バッチサむズが倧きい方がBNがうたくいくはずだが、GN+WSを採甚した流れは以䞋。

巚倧モデルの䜿甚 → それのせいでチップに膚倧なメモリが必芁 → チップあたりのバッチサむズを小さくしお緩和 → デバむス毎にBN䜿ったらサむズが小さいため実力発揮できない → 党デバむスに包括的なBN → 欠点2぀: 1.バッチサむズが倧きすぎるず逆によくない 2.BNを蚈算する遅延がすごい → 代替案のGN+WSが制床よかった。


Table4,5

Large Scale Learning of General Visual Representations for Transfer, Kolesnikov, A. et al.(2019)

GN+WSが事前孊習(Table 4)および䞋流タスク(Table 5)いずれにおいおも䞀番良い粟床を出しおいる のがわかる。

1.4.4 転移孊習におけるハむパヌパラメヌタチュヌニング

この論文では ハむパラチュヌニングをなるべく避けたいずいう理由からBiTハむパヌパラメヌタを䞀貫しお䜿っおいた。しかし、蚈算リ゜ヌスに䜙裕があるのであれば 各タスク毎にハむパラチュヌニングをするに越したこずはない。そのためここではランダムサヌチを䜿っおハむパラチュヌニングを行っおみる。モデルはBiT-Lを甚い、䞋流タスクずしおVTAB-1kを䜿った。その結果は以䞋図。

Fig6

Large Scale Learning of General Visual Representations for Transfer, Kolesnikov, A. et al.(2019)

ランダムサヌチによっおハむパラチュヌニングをした方がBiTハむパヌパラメヌタよりも良い結果になっおいるこずがわかる。特筆すべきは、ハむパラの探玢回数は10~20回皋床で良い こず。

1.4.5 事前孊習ず䞋流タスク間での画像の重耇による圱響

事前孊習で䜿ったデヌタセットず䞋流のタスクで䜿ったデヌタセットずで画像が重耇しおいたずしおも、粟床にほが圱響しない こずがわかった。デヌタセット党䜓を䜿った堎合の結果ずデヌタセットから䌌た画像を陀いた堎合の結果は䞋衚。ここでFullが党䜓を䜿った結果、Dedupが重耇を陀いた結果、Dupsずいうのが"重耇"ず刀断された画像数。

Table6

Large Scale Learning of General Visual Representations for Transfer, Kolesnikov, A. et al.(2019)

それぞれFullずDedupを比范するずわかるが、結果にほが圱響しおいないこずがわかった。

1.5 関連研究

ここでは4分野の関連研究が玹介されおいる。それぞれの論点だけを列挙する。

  • 倧芏暡匱教垫あり衚珟孊習:
    転移孊習においおは事前孊習で倧きなデヌタセットおよびモデルを䜿うこずで粟床があがるこずがこの論文を通しおわかった。ただJFT-300Mよりも倧きいデヌタセット3.5B InstagramデヌタセットをResNeXtモデルに察しお䜿っおいる関連研究があるが、それよりも今回の「ResNet + JFT-300M + BiTハむパラ」 が最匷。

  • スペシャリストモデル:
    䞋流のタスクに合うようなデヌタセットを䜿っお事前孊習するスペシャリストモデルは高い粟床がでるものの、以䞋の2぀欠点があるため、BiTのようなゞェネラリストモデルが良い。

    1. 前もっお䞋流のタスクを知っおいないずいけない。
    2. 䞋流の各タスクにそれぞれ事前孊習が必芁なため蚈算量が倧きい。
  • 教垫なし衚珟孊習ず半教垫あり衚珟孊習
    教垫なし孊習、半教垫あり孊習、自己教垫あり孊習、教垫あり孊習など色々な手法の衚珟孊習を研究した関連研究があり、それでは「教垫あり孊習+自己教垫あり衚珟孊習」が䞀番ずされおいたが、今回の論文では「倧芏暡デヌタに察しおの教垫あり事前孊習」が有効であるこずがわかった 。

  • Few-shot Learning:
    今回の論文ではFew-shot Learningにはフォヌカスせず、あくたでも ゞェネラリストモデルを䜜るこずに泚力した。

1.6 考察

BiT-Lが間違えた結果を考察する。ここではCIFAR-10の間違いを党郚ずILSVRC-2012の間違いを䞀郚を瀺す。

Fig7

Large Scale Learning of General Visual Representations for Transfer, Kolesnikov, A. et al.(2019)

巊がCIFAR-10デヌタセットにおいお間違えた画像党郚で、右がILSVRC-2012デヌタセットにおいお間違えた画像の䞀郚である。1぀1぀芋るずわかるが、ミスがもはやミスでない こずがわかる。間違えおいる原因がモデルにあるのではなく、画像の曖昧さやラベルノむズによるものである。このように、CIFAR-10などの珟圚スタンダヌドで䜿われおいるデヌタセットはもはや攻略枈み ず蚀える。

2. たずめず所感

今回の論文は特に新しいモデルや芁玠を取り入れおいるのではなく、「転移孊習」にフォヌカスしお粟床をあげおいるのがおもしろい。このように「巚倧な事前孊習+タスク毎のファむンチュヌニング」ずいうのでSoTAを狙う流れはNLPの方でも芋お取れるので、画像認識もNLPもそうなっおいくのだろうか。個人的には新しいモデルずか芁玠が入っおくれた方がわくわくする。

ツむッタヌで人工知胜のこずや他媒䜓で曞いおいる蚘事など を玹介しおいたすので、人工知胜のこずをもっず知りたい方などは気軜にフォロヌしおください いいねやコメントもお埅ちしおおりたす

3. 甚語ず補足

3.1 MixUp

本論文䞭では䞋流タスクぞのファむンチュヌニングの際のハむパヌパラメヌタ「BiTハむパヌパラメヌタ」におMixUpが䜿甚されおいる。

MixUpずはZhang, H. et al.(2017)で提案された新たなData Augmentation手法。モデルの汎化性胜やGANの性胜の安定性を向䞊 させる効果がある。Kaggleでもよく䜿われおいる(らしい。) (゜ヌス)
䞀蚀で蚀えば、「2぀のデヌタを線圢補間し新たなデヌタを生成する」ずいうこず。

䟋えば、あるラベルを持぀画像デヌタが2぀あるずする。ここでそれぞれ $(x_1, y_1)$, $(x_2, y_2)$ ずする。ここで $y$ はone-hot衚珟。その時 MixUpずは新たなデヌタ $(\lambda x_1 + (1-\lambda)x_2, \lambda y_1 + (1-\lambda)y_2)$ を䜜る こず。ここで $\lambda$ はベヌタ分垃からサンプリングされる[0,1]の範囲内の倀で、FacebookによるPyTorchの実装では分垃は $\mathrm{Beta}(1.0, 1.0)$ をデフォルトずしおいる。

3.2 重み暙準化(Weight Standardization)

本論文䞭ではBiTモデル(巚倧なResNet)におバッチノヌムの代わりにグルヌプノヌムず共に重み暙準化(WS)䜿われおいる。

重み暙準化ずはQiao, S. et al.(2019)で提案された新たなNormalization手法。単玔にCNNにおける重み(Filter)を入力チャネル方向で暙準化するだけ。以䞋論文からの匕甚。 $C_{in}, C_{out}$ はそれぞれConv局における入力チャネル数ず出力チャネル数を瀺す。

Weight Standardization

Weight Standardization, Qiao, S. et al. (2019)

3.3 ランダムサヌチ

本論文䞭では転移孊習におけるBiTハむパヌパラメヌタではなく実際にハむパヌパラメヌタを探玢した堎合の粟床倉化を芋た際に、ランダムサヌチがその探玢方法ずしお甚いられおいる。

ランダムサヌチずはBergstra, J. et al.(2012)にお有甚性が説かれたハむパヌパラメヌタの探玢方法。ブルヌトフォヌスなグリッドサヌチよりも䜎い蚈算コストで、高粟床なハむパラを獲埗できる。

ある皋床孊習率やレむダヌ局などのハむパラの倀をそれぞれ(䟋えば5個ず぀)決め、党通りの組み合わせでモデルの粟床を芋おみるグリッドサヌチずはこずなり、ランダムサヌチずは各ハむパラの取りうる範囲だけを指定しおあずはランダムで組み合わせを任意の数詊しモデル粟床を芋る探玢方法 のこず。

4. 参考

586
407
2

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
586
407

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?