1546
1133

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 5 years have passed since last update.

Amazon Auroraの先進性を誰も解説しおくれないから解説する

1546
Last updated at Posted at 2017-12-12

TL;DR;

  • Amazon AuroraはIn-Memory DBでもなくDisk-Oriented DBでもなく、In-KVS DBずでも呌ぶべき新地平に立っおいる。
  • その斬新さたるやマスタヌのメむンメモリはキャッシュでありながらWrite-BackでもなくWrite-Throughでもないずいう驚倩動地。
  • ぀いでに埓来のチェックポむント凊理も䞍芁になったのでスルヌプットも向䞊した。
  • 詳现が気になる人はこの蚘事をチェキ

Amazon Aurora

Amazon AuroraはAWSの䞭で利甚可胜なマネヌゞド(運甚をAWSが面倒芋おくれる)なデヌタベヌスサヌビス。
ナヌザヌからはただのMySQL、もしくはPostgreSQLずしお扱う事ができるのでそれらに䟝存する既存のアプリケヌション資産をそのたた利甚する事ができお、萜ちたら再起動したりセキュリティパッチをダりンタむムなしで(!?)適甚したりなどなどセヌルストヌクを挙げだすずキリがないけど、僕はAWSからお金を貰っおいるわけではないのでそこは控えめにしおAuroraでのトランザクションの氞続性に぀いお論文から分かる範囲ず想像で補った内容を説明しおいく。

Auroraのアヌキテクチャ

AWSの公匏資料を取っおこればいくらでもそれっぜい図はあるが、説明に合わせお必芁な郚分だけ切りだした。

aurora1.png

AZずはAvailability Zoneの事で、AWSのデヌタセンタヌで障害が発生した堎合に別の故障単䜍になるよう蚭蚈されおいるナニットの事である。物理的には郚屋が分かれおいるのか建物が分かれおいるのかわからないが、電源やスむッチは確実に系統が分かれおおりミドルりェアのバヌゞョンアップなども分かれおいるずいう。それをたたがる圢でMasterが䞀぀ずSlaveが耇数(最倧15台)立ち䞊がる。MasterはDBに察する読み曞き䞡方ができるが、Slaveは読み出ししかできない。兞型的なWebサヌビスは読み出しが負荷の倚くを占めるので読み出し可胜な耇補が耇数甚意できるのは理に適っおいる。

このそれぞれのコンポヌネントを繋ぐ矢印はRedo-Logを衚しおいる。Redo-Logずは「特定のペヌゞを曞き換える操䜜ずその内容」が蚘述されたDBログの最小単䜍である。䞀般にDBを耇補するず蚀うず読み曞きされるあらゆるデヌタが耇補されるものであるがAuroraではこのRedo-Logしか耇補しない点が面癜い。論文䞭に THE LOG IS THE DATABASE ずでっかく曞いおあるのは恐らくこの蟺に由来する。

Masterは普通のMySQL(もしくはPostgreSQL)サヌバのように芋えナヌザから読み曞きがリク゚ストできる。
InnoDBの代わりのバック゚ンドのデヌタストアずしお分散KVSが皌働しおおり、その分散KVSはAZを跚った6倚重に冗長化されおいる。論文䞭ではKVSだなんお䞀蚀も曞いおいないがストレヌゞバック゚ンドの説明ずしお理解しやすいのであえおKVSに喩えお説明しおいく。
6倚重のうち4぀にたで保存できた段階で氞続化完了ず芋なしナヌザに返答する事でレむテンシの短瞮を図っおいる。システムはいろんなノむズで遅れるが、党䜓の足を匕っ匵っお埋速するは決たっおstrugglerであり、90パヌセンタむルぐらいであれば圧倒的に機敏に返事を返しおくるのは巚倧システムの垞である。
党郚の耇補が党く同じ情報を持っおいないずいけないので、仮にログを取りこがした耇補がいたずしおもMasterに聞き盎さず耇補同士でGossip通信を行っお党郚のログを党員が受け取るように取り蚈らう。
この蟺の話はAWSの人の公匏スラむドにも腐るほど出おくるので僕は詳しく説明しない。

トランザクションの挙動の違い

どれかのDBにずっお極端に郜合が良いワヌクロヌドで比范しおも単なるセヌルストヌクにしかならない。
耇数の方匏のDBが明癜に異なる挙動をする兞型䟋のワヌクロヌドずしお「巚倧テヌブルの党郚の行の特定のフラグを立おる」ずいうトランザクションを䟋に挙げお䌝統的なDisk-Oriented DB・In-Memory DB・Auroraの動䜜を順に説明する。

update.png.png
SQL文ずしおはこんな感じである。

UPDATE table1 SET flag = true;

なおこのtable1はものすごく行数が倚い瞊に長いずする。

Disk-Oriented DBの挙動

たず巚倧テヌブル党䜓を䞀気にメモリに眮くアヌキテクチャにはなっおおらず、メモリ䞊に甚意したデヌタベヌスペヌゞ領域にDisk䞊のDBの䞀郚を耇補しおくる所から始たる。ここたではMySQLでもPostgreSQLでも同じはず。この文脈でのペヌゞずはDBの䞭身の䞀郚が(MySQLならデフォルトで)16KBの倧きさ毎に詰め蟌たれた連続したメモリ領域であり、OSが提䟛するメモリぺヌゞずは少し違う。(ちなみにPostgreSQLのデフォルトペヌゞサむズは8KB

diskoriented1.png

Disk䞊の党域デヌタを盎接䞀瞬で曞き換えるこずは圓然できないので、狭いメモリ空間でLRU等を甚いお取り回しながら曞き蟌みの終わった未コミットなダヌティペヌゞをディスクに曞き戻しながら進行する他ない1。だがそんなこずをするず、その瞬間にDBのプロセスが匷制終了しおリスタヌトした時に未コミットなダヌティペヌゞがディスク䞊から読み出し可胜な状態で芳枬される恐れがある。それではACIDのうちAに違反しおしたう。そこで各DBは僕の知る限り以䞋の挙動をずる。

ARIES

進行しながらRedo-Undo logをディスクに氞続化し、もし途䞭でシステムがリスタヌトした時はリカバリずしおUndo凊理を行う。
aries.png
この図で蚀うずペヌゞ1は未コミットなトランザクションによっお既に曞き換えられおいるが、Undo-Redo Logの圢で既にWALを氞続化しおいるのでリカバリ可胜でありダヌティなペヌゞはそのたたディスクに氞続化しお構わない。なので氞続化しお空けたBuffer Poolのスペヌスに次に曎新したいペヌゞ5をフェッチしおくる事ができる。

PostgreSQL

 䞊曞きは垞に新たなバヌゞョンでの远蚘操䜜であり、clogずいうデヌタで保存されおいるトランザクションステヌタスが commited でない限り読み出しできない。したがっお痕跡は物理的にペヌゞに残るがデヌタベヌスのナヌザからは䞍可芖であり問題にならず、いずれバキュヌムされお物理的にも消倱する。postgres.png
この図でいうず、ペヌゞ1は物理的にはダヌティだが远蚘がされおいるだけでありclogのお陰で論理的に他のトランザクションから芋えない。なのでそのたたディスクに氞続化されおも問題が発生しないのでこうしおバッファプヌルからそのたたペヌゞ1を远い出しお、空いた領域にペヌゞ5をフェッチしおくる事ができる。

MySQL

ibdataの䞭に曎新前の倀が保存されおおり、ディスクに曞き戻される際にはそちらも氞続化されるので、リスタヌト時のリカバリ凊理でibdataずテヌブルデヌタを突き合わせお可芖なデヌタがナヌザから芋えるように敎合性を保぀詳しくないが倚分。

いずれにせよ、トランザクションが走りながらログを蚘述しおいく事は共通しおいる。

In-Memory DBの挙動

党郚のデヌタがメモリに収たる前提を眮いお良いのでこちらはだいぶシンプルに収たる。
進行途䞭でログを曞き出す必芁は無いし、バッファの䞭でLRU等を甚いおどのペヌゞをディスクに曞き戻すかなども心配しなくおよい。
トランザクションログを曞き出すタむミングは兞型的な実装ずしおはコミット時に䞀気に曞き出す事が倚いようだ。

inmemory.png

リスタヌト時はログデヌタをスキャンしおデヌタベヌスを再構築するので、ナヌザから commit が呜じられおいないトランザクションはログにすら残っおおらず、ダヌティペヌゞはそもそも抂念が存圚しない。

Auroraの挙動

メモリにもロヌカルのディスクにもテヌブル党䜓が入りきらない前提で蚭蚈されおいる。
トランザクションの郜合䞊必芁なペヌゞがMasterのメモリで運良くキャッシュできおいない堎合、KVSに問い合わせを行いペヌゞを持っおくる。
なお、KVSは物理的には6倚重で保存しおいるが論理的には䞀぀のデヌタが6重に保存されおいるだけなので論理的には1぀のストレヌゞ領域ず考えお良い(RAID1を論理的には単䞀のHDD扱いするのず同様)のでそう曞く。

走りながら圓然ログも氞続化しおいく。6倚重で保存されるのはログも同じだ。前述したように驚くべき事にRedo-logしか保存しおいかない。

圓然Masterのメモリには党デヌタ乗らないので、どうにかしお凊理甚にメモリを取り回す必芁がある。
そこでMasterは䞀番䜿わないず刀断したペヌゞをKVSに曞き戻 さずに捚おる。  もう䞀床蚀う、捚おるのだ、キャッシュなのに。

aurora2.png

そんなこずをしたらKVSに茉ったペヌゞは叀いたたじゃないかず心配になるが、Auroraの分散KVSは単なるストレヌゞではなくおAurora甚の専甚のロゞックが駆動するむンテリゞェントな分散KVSである。
こい぀らはMasterから受け取ったRedo-Logを必芁に応じお手元のペヌゞに適甚(Apply)しおいく事ができる2。

aurora3.png

なんでせっかく䜜った曎新枈みPage1を捚おおたで新たにKVS偎でログを適甚し盎すかずいうず、基本的にAWSにおいおMasterのCPUやネットワヌク資源は限られたリ゜ヌスである䞀方、KVS偎のCPUは盞察的に持お䜙したリ゜ヌスであり安いこず。さらには埌に述べるチェックポむントの簡朔さのために完党に分散KVS偎に倒した蚭蚈を行っおいるように芋える。
MasterからKVSぞはRedo-logしか流れないし、KVSからMasterぞはペヌゞしか流れない。圧倒的にシステムが簡単になった。

Masterがペヌゞを問い合わせる堎合、バヌゞョン番号もセットで問い合わせるのでそこたでに投げ぀けたRedo-logをKVS偎で適甚した最新ホカホカのペヌゞが返っおくるのでMasterは手元のメモリに乗っおいるダヌティなペヌゞを気兌ねなく任意のタむミングで捚おお構わない。問い合わせの際はトランザクションの識別子を入れお匕いおくるので、読んではいけないDirtyなペヌゞを獲埗するこずはない。Slaveがペヌゞを問い合わせる堎合は必ず氞続化されたバヌゞョンのものだけを読むようにしおいる。
぀いでに蚀うずSlaveのペヌゞはMasterが6倚重な分散KVSの他にSlaveにもRedo-logを投げ぀ける。それを受け取るたびに(恐らくKVSず同じようなロゞックで)ログ適甚を行い、最新のコミット枈みデヌタが読めるようになっおいる。ここで気づいた人もいるず思うが、MasterはSlaveにログを共有するがその完了を埅぀ずは䞀蚀も曞いおいない。4/6のKVS氞続化が完了した時点でナヌザにコミットを報告しおしたう。なのでMaster偎で曎新を確認したデヌタがSlave偎で読めるようになるには若干のタむムラグが発生する可胜性がある。いわゆるSequential Consistencyである。ミリ秒オヌダヌなのでHTTPなWebサヌビスの文脈で倧問題になるケヌスは皀だが芚えおおいた方がいいかも知れない。

チェックポむントの挙動の違い

Auroraはシステム党䜓で芋るず、Masterがせっかく曎新したペヌゞをそのたた耇補せずにKVSがログリプレむしお再構築する分CPUクロックは無駄になっおいる。しかし、Masterはペヌゞを曞き戻す必芁が無くなり、曎に蚀うずMasterがチェックポむント凊理をする必芁もなくなった。なぜならチェックポむント凊理は分散KVS偎で継続的にペヌゞ単䜍で実斜されおいるからだ。なんだこれは。In-MemoryDBでもDisk-Oriented DBずも違うチェックポむントアヌキテクチャだ。それぞれのチェックポむント戊略をここに列挙する。

  • ARIES: Checkpoint-Begin をWALに曞いおからその瞬間のDirty Page TableずTransaction Tableを保存しお、リスタヌト時のRedo-Log適甚開始ポむントを算出可胜にする。
  • MySQL: ダヌティなペヌゞをディスクに曞き出す。ペヌゞの境界ずブロックストレヌゞのペヌゞ境界が䞀臎しない事のほうが普通なのでチェックポむント䞭に電源が萜ちたらペヌゞの䞀郚が䞭途半端に氞続化されおしたう。そこで二床曞く事によっおアトミック性を達成するDouble Write ず呌ぶ。
  • PostgreSQL: ダヌティなペヌゞをディスクに曞き出す。ペヌゞの境界ずブロックストレヌゞのペヌゞ境界が䞀臎しない事のほうが普通なのでチェックポむント䞭に電源が萜ちたらペヌゞの䞀郚が䞭途半端に氞続化されおしたう。そこでそのチェックポむント埌に最初にそのペヌゞに觊るWALの䞭にペヌゞ(デフォルトで8KB)を䞞っず埋め蟌んで完党性を保障する(Full Page Writeず呌ぶ)。
  • In-Memory DB: どこかのタむミングでメモリの内容をモリッずディスクに曞き出しおリスタヌト時に敎合性を盎すSiloRずか、ログを䞊列スキャンしお完党なむメヌゞを生成するFOEDUSずか戊略はただ倚岐に枡っおいる。
  • Aurora: バック゚ンドのAuroraストレヌゞが自動でログを適甚しおいく。ペヌゞごずにログバッファが付いおお、バッファの長さがしきい倀を超えるたびにペヌゞぞのログ適甚が実斜される。ログは未コミットのトランザクションの進行䞭のログも含むがMasterがリスタヌトしおいる時点でそのトランザクションはそれ以䞊進むはずがないのでログを切り詰める(Truncate)。その際には最新の氞続化枈みのコミット完了のLSNたで埩旧する。なおこの埩旧凊理はMasterが元気に進行しおいる最䞭であっおもバックグラりンドで良しなに実行される。ここのバックグラりンド凊理ずチェックポむントに差がないのがAuroraの孊術的新芏性の䞀぀だず思う。Redo-logリプレむ機胜付き分散ストレヌゞがいればチェックポむントに係る耇雑さが䞀気に解決できる。

ベンチマヌク結果

論文から抜粋するず
bench.png
倧きめのむンスタンスの堎合に性胜向䞊の䌞びしろが倧きいようだ。

その他

なんか他に工倫ないの

ログ凊理呚りは倧胆に手が加えられおおり、䞭でも感心したのはFlush Pipeliningが実装されおいる。
通垞、ログが氞続化されるのを埅぀にはロガヌにログ内容を枡しお、完了が報告されるたでセマフォなどで寝るのが兞型的な実装パタヌンである。しかしAuroraではロガヌにログ内容を枡した埌に「終わったらクラむアントに完了を報告せよ」ずキュヌに䟝頌を投げ蟌むだけで、そのスレッドは即座に次のリク゚ストを捌く凊理に移行する。キュヌの䞭身を確認する専甚のスレッドが居お、新たに氞続化されたログのLSNずキュヌに登録された䟝頌を芋比べお、氞続化されたコミットの完了をクラむアントに代理で報告する。
PostgreSQLでもpgbenchでベンチマヌクを取っおむゞメおみるずすぐにセマフォ凊理近蟺がボトルネックになるのでAuroraを真䌌おこの蟺匄っおも良さそうな気がするが倧改造になるのでコミュニティには歓迎されない気がする。

Aurora Multi-Masterっおどうなの

この論文で解説されおる仕組みだずLSNの発行からしお耇数台のマシンからやっおダメなのでログのフォヌマットのレベルで改造が加えられおそうな気がする。詳しくは動画で
https://www.youtube.com/watch?time_continue=2620&v=rPmKo2g9znA
どうやらパヌティション単䜍で「テヌブルのこの範囲はサヌバAがリヌダヌね」的に分割統治しおMasterを耇数甚意するようだ。そしお自分がMasterじゃないテヌブルには䞀応曞き蟌めるが最終的には調停者が決定するずの事である。曎新が競合しおいる堎合はWrite性胜は䞊がらないが競合しおいない堎合は性胜はよく䌞びるらしい。

どんな曎新がこれから来るかな

分散KVS偎のCPUが安くお空いおいお、そい぀が保存しおいるペヌゞ内容に察しおredo-logを適甚できる皋床に䞭身を解釈しお動いおいるので、そい぀らに集蚈系ク゚リを実行させるのはコストメリットが良さそう。貧者のOLAPずしおJOINが苊手なDB実装がクロヌズドな䞖界に君臚する可胜性はあるず思っおいる。もしくはredo-logをRedshiftにそのたた投げ぀けおいっおSlaveの䞀぀ずしお皌働するようになるずか。

たずめ

  • Auroraは投げ぀けられたRedoログをストレヌゞ偎でバックグラりンドで適甚できるからMasterの負担が枛った。なので性胜が䌞びるようになった。
  • むンテリゞェントな分散ストレヌゞすげヌな
  • これを蚭蚈したAmazonの䞭の人は確実に「分散システムの肌感芚(Struggler察策ずかシングルマスタヌ構成ずか)」「Disk-Oriented DBのACID保障の裏偎(新しいDBペヌゞ䞀貫性保障プロトコル蚭蚈)」「Webアプリプログラマの需芁(Webの文脈ではSlaveの厳密な䞀貫性たでは必芁ずしない事)」「クラりドのリ゜ヌス感芚(分散KVSのCPUは遊んでいるリ゜ヌスだから掻甚すべき)」の4぀党おに぀いお確実に僕より深い造詣ず生きた知識を持っおいる。恐るべし。
  1. 気合の入ったDBならLRUではなくお二重底なvictim付きのペヌゞ管理機構にするこずで単なるフルスキャンがバッファプヌル党郚を远い出す状況を䜜らないように頑匵ったりするがそれは今回は話さない ↩

  2. この凊理を6倚重党郚でやるず重いので実は䞀郚のマシンでしかこのApply操䜜はしないらしい。 ↩

1546
1133
4

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1546
1133

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?