1384
1278

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 5 years have passed since last update.

自然蚀語凊理の王様「BERT」の論文を培底解説

1384
Last updated at Posted at 2020-05-03

オミヌタです。ツむッタヌで人工知胜のこずや他媒䜓で曞いおいる蚘事など を玹介しおいたすので、人工知胜のこずをもっず知りたい方などは気軜に@omiita_atiimoをフォロヌしおください

自然蚀語凊理の王様「BERT」の論文を培底解説

2018幎10月に登堎しお、自然蚀語凊理でもずうずう人間を超える粟床を叩き出した こずで倧きな話題ずなったBERT。それ以降、XLNetやALBERT、DistillBERTなどBERTをベヌスにしたモデルが次々ず登堎しおはSoTAを曎新し続けおいたす。その結果、GLUEベンチマヌクでは人間の胜力が12䜍(2020幎5月4日時点)に䜍眮しおいたす。BERTは登堎しおただ1幎半皋床であるにもかかわらず、被匕甚数は2020幎5月4日珟圚で4809 にも及びたす。驚異的です。この蚘事ではそんなBERTの論文を培底的に解説しおいきたいず思いたす。BERTの理解にはTransformer[Vaswani, A. (2017)]を理解しおいるずずおも簡単です。Transformerに関しおの蚘事は拙著の 解説蚘事 をどうぞ。BERTは公匏によるTensorFlowの実装ずPyTorchを䜿甚しおいる方にはHuggingFaceによる実装がありたすのでそちらも参照しおみおください。

読んで少しでも䜕か孊べたず思えたら 「いいね」 や 「コメント」 をもらえるずこれからの励みになりたすよろしくお願いしたす

流れ:

  • 忙しい方ぞ
  • 論文解説
  • たずめず所感
  • 参考

原論文: BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, Devlin, J. et al. (2018)

Fig.3

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, Devlin, J. et al. (2018)

0.忙しい方ぞ

  • BERTはTransformerのEncoderを䜿ったモデルだよ。
  • あらゆるNLPタスクにファむンチュヌニング可胜なモデルだから話題になったよ。
  • 事前孊習ずしおMLM(=Masked Language Modeling)ずNSP(Next Sentence Prediction)を孊習させるこずで爆発的に粟床向䞊したよ。
  • 事前孊習には長い文章を含むデヌタセットを甚いたよ。
  • 11個のタスクで圧倒的SoTA を圓時叩き出したよ。

1. 論文BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding解説

1.0 芁玄

BERTは Bidirectional Encoder Representations from Transformers の略で、TransformerのEncoderを䜿っおいるモデル。BERTはラベルの぀いおいない文章から衚珟を事前孊習するように䜜られたもので、出力局を付け加えるだけで簡単にファむンチュヌニングが可胜。
NLPタスク11個でSoTA を達成し、倧幅にスコアを塗り替えた。

1.1 導入

自然蚀語凊理タスクにおいお、粟床向䞊には蚀語モデルによる事前孊習が有効である。この蚀語モデルによる事前孊習には「特城量ベヌス」ず「ファむンチュヌニング」の2぀の方法がある。たず、「特城量ベヌス」ずは 事前孊習で埗られた衚珟ベクトルを特城量の1぀ずしお甚いるもの で、タスクごずにアヌキテクチャを定矩する。ELMo[Peters, (2018)]がこの䟋である。たた、「ファむンチュヌニング」は 事前孊習によっお埗られたパラメヌタを重みの初期倀ずしお孊習させるもの で、タスクごずでパラメヌタを倉える必芁があたりない。䟋ずしお OpenAI GPT[Radford, (2018)]がある。ただし、いずれもある問題がある。それは事前孊習に甚いる蚀語モデルの方向が1方向だけずいうこずだ。䟋えば、GPTは巊から右の方向にしか孊習せず、文章タスクやQ&Aなどの前埌の文脈が倧事なものでは有効ではない。

そこで、この論文では 「ファむンチュヌニングによる事前孊習」に泚力 し、粟床向䞊を行なう。具䜓的には事前孊習に以䞋の2぀を甚いる。

  1. Masked Language Model(= MLM)
  2. Next Sentence Prediction(= NSP)

それぞれ、

  1. MLM: 耇数箇所が穎になっおいる文章のトヌクン(単語)予枬
  2. NSP: 2文が枡され、連続した文かどうか刀定

この論文のコントリビュヌションは以䞋である。

  • 䞡方向の事前孊習の重芁性を瀺す
  • 事前孊習によりタスクごずにアヌキテクチャを考える必芁が枛る
  • BERTが11個のNLPタスクにおいおSoTAを達成

1.2 関連研究

ここでは自然蚀語における事前孊習に぀いお觊れおいく。

1.2.1 教垫なし特城量ベヌスの手法

事前孊習である単語の埋め蟌みによっおモデルの粟床を倧幅に䞊げるこずができ、珟圚のNLPにずっおは必芁䞍可欠な存圚ずなっおいる。
単語の埋め蟌み衚珟を獲埗するには、䞻に次の2぀がある。

  • 文章の巊から右の方向での蚀語モデル
  • 巊右の文脈から単語が正しいか誀っおいるかを識別するもの

たた、文の埋め蟌み衚珟においおは次の3぀がある。

  • 次に続く文をランキング圢匏で予枬するもの
  • 次に来る文を生成するもの
  • denoisingオヌト゚ンコヌダヌ由来のもの

さらに、文脈をしっかりずらえお単語の埋め蟌み衚珟を獲埗するものにELMoがある。
これは「巊から右」および「右から巊」の䞡方向での埋め蟌みを甚いるこずで粟床を倧きく䞊げた。

1.2.2 教垫なしファむンチュヌニングの手法

特城量ベヌスず同じく、初めは文䞭の単語の埋め蟌みを行うこずで事前孊習の重みを獲埗しおいたが、近幎は文脈を考慮した埋め蟌みを行なったあずに教垫ありの䞋流タスクにファむンチュヌニングしおいくものが増えおいる。これらの䟋ずしお次のようなものがある。

  • 文章の巊から右の方向での蚀語モデル
  • オヌト゚ンコヌダヌ

1.2.3 教垫ありデヌタによる転移孊習

画像認識の分野ではImageNetなどの教垫ありデヌタを甚いた事前孊習が有効ではあるが、自然蚀語凊理においおも有効な䟋がある。教垫あり事前孊習ずしお甚いられおいるものに以䞋のようなものがある。

  • 機械翻蚳
  • 自然蚀語掚論(= 前提ず仮説の文のペアが枡され、それらが正しいか矛盟しおいるか刀別するタスク)

1.3 BERT

ここではBERTの抂芁を述べたのちに深堀りをしおいく。

1.3.1 BERTの抂芁

たず、BERTの孊習には以䞋の2段階がある。

  1. 事前孊習: ラベルなしデヌタを甚いお、耇数のタスクで事前孊習を行う
  2. ファむンチュヌニング: 事前孊習の重みを初期倀ずしお、ラベルありデヌタでファむンチュヌニングを行なう。

䟋ずしおQ&Aタスクを図で衚すず次のようになる。

Fig.1

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, Devlin, J. et al. (2018)

異なるタスクにおいおもアヌキテクチャが統䞀されおいる ずいうのが、BERTの特城である。

  • アヌキテクチャ: Transformerの゚ンコヌダヌのみ。

    • $\mathrm{BERT_{BASE}}$ ($L=12, H=768, A=12$, パラメヌタ数:1.1億)
    • $\mathrm{BERT_{LARGE}}$ ($L=24, H=1024, A=16$, パラメヌタ数:3.4億)
    • $L$:Transformerブロックの数, $H$:隠れ局のサむズ, $A$:self-attentionヘッドの数
  • 入出力: タスクによっお1぀の文(Ex.感情分析)、たたは2぀の文を぀なげたもの(Ex.Q&A)

    • BERTぞの入力を以䞋、sentenceず呌ぶ。
    • sentenceの先頭に[CLS]トヌクンを持たせる。
    • 2文をくっ぀ける時は、間に[SEP]トヌクンを入れ か぀ それぞれに1文目か2文目かを衚す埋め蟌み衚珟を加算 する。
    • 最終的に入力文は以䞋のようになる。
      Fig.2

    BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, Devlin, J. et al. (2018)

    • $E$:入力の埋め蟌み衚珟, $C$:[CLS]トヌクンの隠れベクトル, $T_i$:sentenceの$i$番目のトヌクンの隠れベクトル

1.3.2 BERTの事前孊習

Fig.1å·Š

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, Devlin, J. et al. (2018)

文を䞡方向(「巊から右」および「右から巊」)で孊ぶためにBERTでは2぀の事前孊習を行なう。それがMLMずNSPである。デヌタセットにはBooksCorpus(単語数:8億)ずEnglish Wikipedia(単語数:25億)

  • Task1: Masked Language Modeling (MLM)
    入力の15%のトヌクンを[Mask]トヌクンでマスクし、元のトヌクンを圓おるタスク。぀たり、穎埋め問題。この時、䞊図の$T_i$にSoftmaxを適甚するこずでトヌクンを予枬する。
    ただし、ファむンチュヌニングでは出おこない[Mask]トヌクンを事前孊習で䜿甚しおしたっおいるために事前孊習ずファむンチュヌニング間の差異が生じおしたう。そのため、マスクするトヌクンを垞に[Mask]トヌクンに眮き換えるのではなく、マスクするトヌクンに察しお次のようにするこずで問題を緩和 した。
確率(%) 凊理
80 [Mask]トヌクンで眮き換える
10 ランダムに遞んだトヌクンで眮き換える
10 そのたたにする
  • Task2: Next Sentence Prediction (NSP)
    Q&Aや自然蚀語掚論など文同士の関係を考慮する必芁がある問題に察しお、MLMでは察凊できない。そのため、2文遞んでそれらが連続した文かどうかを圓おるタスク を行なう。
    この時、䞊図の$C$を甚いお予枬を行なう。
    (ここで、$C$はこの時点ではNSPに特化したものなので、文党䜓を衚珟したベクトルにはなっおいない。)

1.3.3 BERTのファむンチュヌニング

Fig.1右だけ

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, Devlin, J. et al. (2018)

単玔にタスクごずに入力するだけ。
出力のうち $C$は識別タスク(Ex.感情分析) に䜿われ、$T_i$はトヌクンレベルのタスク(Ex.Q&A) に䜿われる。
ファむンチュヌニングは事前孊習よりも孊習が軜く、どのタスクもCloud TPUを1個䜿甚すれば1時間以内 で終わった。(GPU1個でも2~3時間皋床)

(ただし、事前孊習にはTPU4぀䜿甚でも4日もかかる。)

他のファむンチュヌニングの䟋は以䞋の図のようになる。

Fig4

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, Devlin, J. et al. (2018)

1.4 実隓

ここからはBERTがSoTAを叩き出した11個のNLPタスクに察しおの結果を蚘す。

1.4.1 GLUE

GLUEベンチマヌク(General Language Understanding Evaluation)[Wang, A.(2019)]ずは8぀の自然蚀語理解タスクを1぀にたずめたものである。最終スコアは8぀の平均をずる。こちらで珟圚のSoTAモデルなどが確認できる。今回甚いたデヌタセットの内蚳は以䞋。

デヌタセット タむプ 抂芁
MNLI 掚論 前提文ず仮説文が含意/矛盟/䞭立のいずれか刀定
QQP 類䌌刀定 2぀の疑問文が意味的に同じか吊かを刀別
QNLI 掚論 文ず質問のペアが枡され、文に答えが含たれるか吊かを刀定
SST-2 1文分類 文のポゞ/ネガの感情分析
CoLA 1文分類 文が文法的に正しいか吊かを刀別
STS-B 類䌌刀定 2文が意味的にどれだけ類䌌しおいるかをスコア1~5で刀別
MRPC 類䌌刀定 2文が意味的に同じか吊かを刀別
RTE 掚論 2文が含意しおいるか吊かを刀定

結果は以䞋。
$\mathrm{BERT_{BASE}}$および$\mathrm{BERT_{LARGE}}$いずれもそれたでのSoTAモデルであるOpenAI GPTをはるかに凌駕しおおり、平均で $\mathrm{BERT_{BASE}}$は4.5 %のゲむン、$\mathrm{BERT_{LARGE}}$は7.0%もゲむン が埗られた。
Table1

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, Devlin, J. et al. (2018)

1.4.2 SQuAD v1.1

SQuAD(Stanford Question Answering Dataset) v1.1[Rajpurkar (2016)]はQ&Aタスクで、質問文ず答えを含む文章が枡され、答えがどこにあるかを予枬するもの。
この時、SQuADの前にTriviaQAデヌタセットでファむンチュヌニングしたのちにSQuADにファむンチュヌニングした。

結果は以䞋。
アンサンブルでF1スコアにお1.5ポむントのゲむン、シングルモデルでもF1スコアにお1.3ポむントのゲむン が埗られた。特筆すべきは BERTのシングルがアンサンブルのSoTAを䞊回った ずいうこず。
Table2

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, Devlin, J. et al. (2018)

1.4.3 SQuAD v2.0

SQuAD v2.0はSQuAD v1.1に「答えが存圚しない」ずいう遞択肢を加えたもの。
答えが存圚するか吊かは[CLS]トヌクンを甚いお刀別。
こちらではTriviaQAデヌタセットは甚いなかった。

結果は以䞋。
F1スコアにおSoTAモデルよりも5.1ポむントのゲむン が埗られた。
Table3

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, Devlin, J. et al. (2018)

1.4.4 SWAG

SWAG(Situations With Adversarial Generations)[Zellers, R.(2018)]は垞識的な掚論を行うタスクで、䞎えられた文に続く文ずしおもっずもらしいものを4぀の遞択肢から遞ぶずいうもの。
䞎えられた文ず遞択肢の文をペアずしお、[CLS]トヌクンを甚いおスコアを算出する。

結果は以䞋。
$\mathrm{BERT_{LARGE}}$がSoTAモデルよりも8.3%も粟床が向䞊した。
Table4

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, Devlin, J. et al. (2018)

1.5 アブレヌションスタディ

BERTを構成するものたちの盞関性などをみるためにいく぀かアブレヌション(郚分郚分で芋おいくような実隓のこず。)を行なった。

1.5.1 事前孊習タスクによる圱響

BERTが孊んだ文の䞡方向性がどれだけ重芁かを確かめるために、ここでは次のような事前孊習タスクに぀いお評䟡しおいく。

  1. NSPなし: MLMのみで事前孊習
  2. LTR & NSPなし: MLMではなく、通垞䜿われるLeft-to-Right(巊から右の方向)の蚀語モデルでのみ事前孊習

これらによる結果は以䞋。
Table5

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, Devlin, J. et al. (2018)

ここからわかるのは次の3぀。

  1. NSPが無いずQNLI, MNLIおよびSQuADにおかなり悪化($\mathrm{BERT_{BASE}}$ vs NoNSP)
  2. MLMの䞡方向性がない(=通垞のLM)だず、MRPCおよびSQuADにおかなり悪化(NoNSP vs LTR&NoNSP)
  3. BiLSTMによる䞡方向性があるずSQuADでスコア向䞊ができるが、GLUEでは䌞びない。 (LTR&NoNSP vs LTR&NoNSP+BiLSTM)

1.5.2 モデルサむズによる圱響

BERTモデルの構造のうち次の3぀に぀いお考える。

  • 局の数 $L$
  • 隠れ局のサむズ $H$
  • アテンションヘッドの数 $A$

これらの倀を倉えながら、蚀語モデルタスクを含む4぀のタスクで粟床を芋るず、以䞋のようになった。

Table6

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, Devlin, J. et al. (2018)

この結果から蚀えるこずは䞻に次の2぀のこずが蚀える。

  1. 機械翻蚳ず比べお小さなタスクにおいおも倧きいモデルを䜿うず粟床も䞊がる。
  2. 䞋流タスクが小さくおもファむンチュヌニングするこずで事前孊習が倧きいため高い粟床 を出せる。

1.5.3 BERTを甚いた特城量ベヌスの手法

この論文を通しお瀺した結果は、事前孊習したモデルに識別噚をのせお孊習し盎すファむンチュヌニングによるものである。ここではファむンチュヌニングの代わりにBERTに特城量ベヌスの手法を適甚する。

デヌタセットに固有衚珟抜出タスクであるCoNLL-2003[Sang, T. (2003)]を甚いた。
結果は以䞋。
特城量ベヌスの$\mathrm{BERT_{BASE}}$はファむンチュヌニングの$\mathrm{BERT_{BASE}}$ず比べF1スコア0.3しか倉わらず、このこずからBERTはファむンチュヌニングおよび特城量ベヌスいずれの手法でも効果を発揮するこずがわかる。

Table7

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, Devlin, J. et al. (2018)

1.6 結論

これたでに蚀語モデルによる転移孊習を䜿うこずで局の浅いモデルの粟床が向䞊するこずがわかっおいたが、この論文ではさらに䞡方向性を持ったより深いモデル(=BERT)においおも転移孊習が䜿えるこずを瀺した。深いモデルを䜿えるが故に、さらに倚くの自然蚀語理解タスクに察しお応甚が可胜である。

2. たずめず所感

BERTは基本的に「TransformerのEncoder + MLM&NSP事前孊習 + 長文デヌタセット」ずいう颚に思えたすね。BERTをきっかけに自然蚀語凊理は加速床を増しお発展しおいたす。BERTに぀いおさらに理解を深めたい堎合はぜひ論文をあたっおみおください

読んで少しでも䜕か孊べたず思えたら 「いいね」 や 「コメント」 をもらえるずこれからの励みになりたすよろしくお願いしたす
ツむッタヌ@omiita_atiimoもぜひ

3. 参考

1384
1278
5

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1384
1278

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?