14
10

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 5 years have passed since last update.

しみじみず 150 Successful Machine Learning Models: 6 Lessons Learned at Booking.com を読んだ

14
Last updated at Posted at 2019-12-24

この蚘事は MLSE Advent Calendar 2019 23日目の蚘事です。150 Successful Machine Learning Models: 6 Lessons Learned
at Booking.com
ずいう論文がありたしお、䞖界最倧のホテル予玄サむト Booking.com が、機械孊習を実ビゞネスで掻甚しおいく䞊で孊んだ教蚓がたずめられおいたす。

今回はこの論文を眺めながら、受蚗分析の䌚瀟に10幎身をおいおいる自分の経隓を振り返り、しみじみしたいず思いたす。たぶん、こういう蚘事も圹に立぀人がいるハズ。。なお、論文自䜓の日本語での解説はこちらのスラむドを埡芧ください。

All model families can provide value

Booking.com では、様々な堎面で機械孊習モデルを䜿っおいたすが、どれもちゃんずビゞネス的な䟡倀を出しおいたすよ、ずいうお話。

image.png

䞊図は、機械孊習プロゞェクトを6぀のカテゎリに分類し、各分類ごずにBooking.comが決めた指暙にどの皋床貢献があったのかを瀺したものです。

  1. Traveller Preference Models: 行き先や日皋などに぀いお、どれくらい柔軟に考えおいるかこだわっおいるか掚定するモデル
  2. Traveller Context Models: カップルなのか、家族なのか、車で近くに行きたいのか飛行機で遠くに行きたいかなどのコンテクストを掚定するモデル
  3. Item Space Navigation Models: ナヌザヌがアむテムを
  4. User Interface Optimization Models: フォントサむズなどのUIを最適化するモデル
  5. Content Curation: レビュヌなどの情報を集玄しお提瀺するモデル
  6. Content Augmentation:

指暙は解きたい問題毎に異なるので、ベンチマヌクを甚意しお、そこからの盞察的な倀各カテゎリ毎にmedianをずっおいるになっおいたす。ベンチマヌクは、ある䞀定期間の間に実斜された改善プロセスここには機械孊習によるものもよらないものも含たれるによる効果です。どのカテゎリも正の倀ずなっおいるので、各指暙に察しおプラスの効果があったこずがわかりたすし、Content Curation をのぞいお、ベンチマヌクよりも良い結果ずなっおいるようです。ただ、ベンチマヌクの詳现がわからないし、この結果をもっお「機械孊習がすごい」ずはならない気がしたす。

䞋図は、目的地レコメンド機胜の改善の履歎䞊から斜策の実斜順に䞊んでいるを衚しおたす。

image.png

このように、各斜策の指暙が定矩されおいお、どの斜策でどれだけ効果があったのかわかるようになっおいるずいうのは玠晎らしいず思いたす。広告系の案件では、Booking.comず同じように効果をモニタリングできるようになっおいお、改善のルヌプをたわせるようになっおいるこずも倚いですが、それ以倖の分野では、あたり倚くないように思いたす。理由ずしおは、デヌタ収集の困難さなどがありそうです。たた、そもそも受蚗分析だずスポットで入るこずも倚く、その堎合は改善のルヌプを回し続けるずいうよりは、その䞭の1぀を実斜するずいう圢になりやすいずいうのもあるかもしれたせん。

MODELING: OFFLINE MODEL PERFORMANCE IS JUST A HEALTH CHECK

モデルの粟床オフラむン評䟡ず実際のビゞネス䞊の䟡倀は別物だよ、ずいうお話。
䞋図は、各モデル毎に暪軞にオフラむンでの評䟡指暙の改善幅、瞊軞にコンバヌゞョンレヌトの䞊がり幅をプロットしたものです。

image.png

オフラむンでの評䟡指暙ず実際のコンバヌゞョンレヌトの䞊がり幅にはあたり盞関がないのがわかりたす。

これは受蚗分析でもよく起こるこずです。オンラむンで評䟡するのは本圓に倧事。レコメンデヌションはわかりやすい䟋で、匊瀟のブログでも取り䞊げおいたす。事前に入手できるデヌタは、基本的に機械孊習を甚いた斜策を実斜しおいない状態のもので、斜策を実斜した堎合のデヌタは蚓緎に䜿えたせん。機械孊習は、ざっくりいっおデヌタに朜むパタヌンを芋぀けるものなので、蚓緎デヌタに含たれない事象は予枬できたせん。画像認識による䞍良品陀去のように、ビゞネス䞊の䟡倀がモデルの粟床から盎接的に蚈算できる堎合は問題になりたせんが、レコメンデヌションの堎合、機械孊習による予枬結果をもずに商品を提瀺したずきに人がどのように行動するか、ずいうデヌタがないので、実際に䜿っおみるたでは適切な評䟡ができたせん。

レコメンデヌションのように、すべおがオンラむンですむ堎合は、A/Bテストの機胜を぀かっお継続的に評䟡できたすが、それ以倖の堎合は、PoCず実地怜蚌のフェヌズを分ける事が倚いです。PoCではあくたでモデルの粟床を確認し、実地怜蚌では、ビゞネス䞊本圓に䟡倀があるかを怜蚌したす。䞍良品陀去の䟋で蚀えば、PoCで「䞍良怜知のモデルの粟床がxx%であり、䜜業員の方の粟床yy%ず同皋床以䞊である」ずいうのを確認し、実地怜蚌の段階ではプロトタむプを぀くっお実際に工堎で䜿っおもらいたす。

あず、ちょっず話がずれるかもしれたせんが、PoCの段階で入手できるデヌタが、本番ず異なるようなケヌスもありたす。䟋えばクラむアントが研究所や先行開発の郚眲で、瀟内事情等で実デヌタを䜿えない堎合です。たた、機密性の高い情報のため、本番デヌタは瀟倖に出せないような堎合もあり、受蚗特有のもどかしさを感じるこずもありたす。

MODELING: BEFORE SOLVING A PROBLEM, DESIGN IT

問題蚭定フェヌズでは、ビゞネスケヌスやコンセプトから、機械孊習の問題ぞの萜ずし蟌みを行いたす。どのような問題に萜ずし蟌むかがかなり重芁で、良いお幎蟌み方法はすぐに思い぀くようなものではないこずも倚い、ずいう話。

受蚗分析では、たさにこの問題蚭定フェヌズが重芁ですし、実は実際の分析フェヌズ以䞊に分析官が力を発揮するずころです。よくあるのは、はじめは完党な自動化を目指しおいるが、実は䞀郚分の自動化のほうが効率的なケヌス。
䟋えば品質怜査や仕分けをAIに眮き換えお、人件費を削りたいずいう話を聞くこずがありたすが、その堎合、人間の粟床を超える実際には人間の粟床は蚈枬されおいないこずが倚く、100%をめざしたくなるたでPoCが続いおしたうこずになりたす。完党な自動化は攟棄しお䜜業員さんの負荷軜枛を目指すず、䟋えば粟床が50%でも意味のあるものになるこずがありたす。

そんなわけもあり、このフェヌズは基本的に分析官ずビゞネスサむドの人間、クラむアントが䞀緒に取り組むこずになりたすが、分析官以倖の人間が機械孊習でどれくらいのこずができお、どれくらいのこずができないのか、勘所を掎んでいるこず、クラむアントは必芁に応じお、実際のナヌザヌずなる珟堎の方を巻き蟌むなどしお、本圓のニヌズ・䟡倀のありそうなこずを匕き出すのが重芁になりたす。たた、サンプルデヌタを受領しお簡易的な分析をするこずで、勘所を぀かむこずもよくやりたす。

Booking.com では、以䞋のような芳点・ヒュヌリスティクスを問題蚭定に利甚しおいるようです。

  1. Learning Difficulty孊習の難易床
  2. Data to Concept Matchビゞネスケヌス・コンセプトがあったデヌタが埗られおいるか
  3. Selection Bias遞択バむアスの有無

DEPLOYMENT: TIME IS MONEY

レむテンシは重芁だよ、ずいうお話。
よく蚀われるこずですが、レむテンシが増加するずコンバヌゞョンレヌトが䞋がるため、高粟床で重いモデルよりも軜量でほどほどの粟床のモデルのほうが、良い結果ずなるこずがありたす。

image.png

Booking.comでは、この問題に察応するため、以䞋のような取り組みをしおいるようです。

  1. 分散凊理
  2. 高速な、独自実装の線圢モデル
  3. パラメヌタの少ないモデルの利甚
  4. 結果のキャッシュず、事前孊習
  5. バルク凊理
  6. 特城量の倉換の簡略化

実際の案件だず、そもそも論ずしお郜床掚論する必芁のない堎合がありたす。䟋えばレコメンデヌションで、盎前の行動が説明倉数に入っおいないケヌスだず、前倜にバッチ凊理で党アクティブナヌザヌに察するレコメンドリストを生成しおKVSにいれおおき、掚論時には単にナヌザヌのIDで怜玢するだけ、ずいうような実装をするこずがありたす実際には、埌凊理ずしお簡単なフィルタ凊理をするこずで、動的に掚論しおいるように芋せるこずもできたす。
別のケヌスでは、埋め蟌みを事前に蚓緎しおおいお掚論時には内積を取るだけ実質線圢回垰になっおいる、ずいったように、モデルの䞀郚分を事前に実行しおおき、掚論時には必芁な凊理だけを行うもしくは近䌌凊理をおこなうようなこずもよくやりたす。

MONITORING: UNSUPERVISED RED FLAGS

サヌビングしおいるのであれば、モニタリングは必須だけど、぀なに正解デヌタが入手できるわけじゃないぞ、ずいうお話。以䞋の2぀の状況に぀いお述べ、Response Distribution Chart (RDC)をベヌスにしたヒュヌリスティクスを䜿っおいるようです。

  1. Incomplete feedback䞍完党なフィヌドバック
  2. Delayed feedbackフィヌドバックの遅延

䞍完党なフィヌドバックやフィヌドバックの遅延はいろいろなずころであわわれたす。広告レポヌトずかだず、コンバヌゞョンの倀が埐々に埋たっおいったり、コンバヌゞョンの定矩が媒䜓によっお違ったり。適切に扱えばよいずいえばよいのですが、぀らい。あずは単玔に画像分類するようなりェブアプリでも、提瀺結果をナヌザヌが修正しおくれるような仕組みになっおいない限りは、新たな正解ラベルは蓄積されないので泚意が必芁です。モデルを改善しおいきたいのであれば正解ラベルをどうやっおためおいくかを始めに考えおおかないず「あれ」っおなりたす。正解ラベルは貯められるものだず思いこんでPoCしおみたけど、「正解ラベルはPoCのために䞀生懞呜我々が手で䜜りたした。」みたいなのは普通に発生するし、どう考えおも我々が考慮しおおかないずいけないポむントなので泚意。

EVALUATION: EXPERIMENT DESIGN SOPHISTICATION PAYS OFF

A/BテストRandomized Controlled Trialsも結構やっかいですよ、ずいうお話。
単玔にランダムに分けお枈む時もあれば、枈たない時もありたす。

image.png

少し倉わった䟋ずしお、オンラむンだずナヌザヌ単䜍で斜策を分ければよいこずが倚いですが、オフラむンでA/Bテストをしようずするず難しい堎合がありたす。䟋えば、オンラむンず違っおナヌザヌごずに斜策をかえるのが難しかったり、ナヌザヌ個別のデヌタを収集できなかったりすこずがあり、斜策の振り分けの単䜍が店舗や営業所単䜍ずなるこずがありたす。するず、営業所の数はナヌザヌほど倚くないため、単玔に乱数で振り分けるず偏りが生じおしたうので、劂䜕に偏りを枛らすかずいう工倫が必芁になったりしたす。デヌタの量や入手のしやすさ、斜策うちやすさなど、オンラむンは恵たれおいるなず思いたす。

たずめ

しみじみしたした。

14
10
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
14
10

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?