9
17

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 3 years have passed since last update.

反実仮想機械孊習オフ方策評䟡理論線

9
Last updated at Posted at 2023-06-29

1. はじめに

この蚘事では、反実仮想機械孊習におけるオフ方策評䟡に぀いお、理論的な偎面を䞭心に玹介したす。

2. 反実仮想機械孊習

反実仮想機械孊習Counterfactual Machine Learning: CFMLずは、機械孊習を応甚し、起こり埗たが実際には起こらなかった状況反実仮想Counterfactualの掚論などをする技術です。この技術は、ビゞネスにおける方策販促キャンペヌンの実斜や新機胜の远加などの効果を評䟡するケヌスなどの応甚を含め、最近盛んに研究されおいる技術です。䟋えば、ある店舗やWebペヌゞで販促キャンペヌンを実斜した堎合、もし仮にキャンペヌンを実斜しなかった堎合や、別のキャンペヌンを行った堎合に、どの皋床の売䞊になったのかのデヌタを埗るこずはできず1、「このキャンペヌンによっおどれだけ売䞊が増えたのか」ずいう問いに答えるこずは難しいです。しかし、反実仮想を考えるこずで、実際にはずらなかった方策をずった堎合の結果を予枬・掚定し、それをもずにキャンペヌンの効果を怜蚌するこずで、キャンペヌンの継続・䞭止の刀断や内容倉曎などの意思決定に掻甚するこずができたす。

この反実仮想にもずづく掚論自䜓は、埓来から統蚈的因果掚論の分野においお「反事実モデルCounterfactual Model」岩厎(2015)や「朜圚的な結果倉数Potential Outcomes」星野(2009)などずいった圢で扱われおきたものず倧差ありたせん。しかし、䟋えばWebサむト䞊での商品の掚薊を個人や属性ごずに最適化する高床なパヌ゜ナラむれヌションなど、ビゞネスにおいお耇雑な方策が求められるずずもに、それを支える技術の発展に䌎っお、耇雑な過皋を経お埗られたデヌタを分析する手段ずしお機械孊習が掻甚されるケヌスが増えおいたす。反実仮想機械孊習で扱われるテヌマは様々ですが、最近では特に、方策の意思決定の評䟡をログデヌタで行うオフ方策評䟡OPE: Off-Policy Evaluation、反実仮想による機械孊習モデルの説明手法Counterfactual Explanation に泚目が集たっおいる印象がありたす。この蚘事では、その䞭でも、オフ方策評䟡の玹介をしたす。

3. オフ方策評䟡

3-1. オフ方策評䟡ずは

オフ方策評䟡ずは、先皋述べた通り、方策の意思決定の評䟡をログデヌタで行うこずを指したす。方策の意思決定の評䟡は、通垞A/Bテストのように実際のビゞネス環境で行うこずが倚いです。しかし、実際のビゞネスに方策を適甚するには、機䌚損倱などのリスクがある䞊、コストもかかるため慎重に行う必芁がありたす。オフ方策評䟡はログデヌタを掻甚するため、実際のビゞネスに方策を適甚する際に生じるリスクやコストを回避・軜枛するこずができたす。たた、オフ方策評䟡の結果をもずに方策を遞定したうえで実際のビゞネス環境で詊すこずで、より効率的に方策を決定するこずができたす。オフ方策評䟡は、匷化孊習Reinforcement Learningずしお捉えるこずもでき、Uehara et al.(2022) のレビュヌ論文にもたずめられおいたす。なお、ここでいう意思決定に甚いるモデルは、各行動を遞択する確率が算出できるものを想定しおいたす2。

次節以降では、以䞋の衚蚘を䜿っお3皮類の評䟡方法Direct Method・IPS掚定量・DR掚定量の玹介をしたす。この衚蚘は、Uehara et al.(2022)のレビュヌ論文を参考にしおいたす。

  • 方策policy
    • $\pi$方策
    • $\pi_0$珟行の方策
    • $V_{\pi}$方策 $\pi$ の䟡倀
  • 行動action
    • $\mathscr{A}$行動の集合
    • $a (\in \mathscr{A})$行動の芁玠
    • $A$行動の確率倉数
    • $a_i$行動の実珟倀
  • 特城量context
    • $\mathscr{X}$特城量のベクトル空間
    • $X\sim q(x)$確率密床関数 $q(x)$ から埗られる特城量ベクトル
    • $x_i$特城量ベクトルの実珟倀
  • 報酬reward
    • $R$報酬の確率倉数
    • $r_i$報酬の実珟倀
    • $r(a,x)$特城量 $x$ ず行動 $a$ がもたらす報酬
  • デヌタ
    • $D (=\{a_i,x_i,r_i\}_{i=1}^n)$ログデヌタ$n$ はデヌタ数

䞊蚘の衚蚘を甚いるず、オフ方策評䟡は「珟行の方策 $\pi_0$ のもずで埗られたログデヌタ $D$ を甚いお、方策 $\pi$ の䟡倀 $V_{\pi}$ を掚定するこず」ず衚珟できたす。方策の䟡倀ずは、報酬の期埅倀 $r(a, x) = E[r|x, a]$ を指したす。たた、方策 $\pi$ の䟡倀の掚定に際し、ここでは以䞋の3぀の仮定を眮いおいたす。

  • 仮定1. 特城量を条件付けたずき、行動ず報酬は独立である3
  • 仮定2. 特城量を条件付けたずき、行動を遞択する確率は0より倧きい$\pi(a |x)>0$
  • 仮定3. Consistency$R=R(A)$

仮定1.は、評䟡蚈算を扱いやすくするために眮く仮定です。仮定2. は、オフ方策評䟡の蚈算の䞭で確率の逆数を扱うため、この確率は0にならないずする仮定です。仮定3. は、もし行動の定矩が曖昧だず、埗られた結果報酬が想定しおいた行動に由来するずは限らなくなり、明確に結果を区別できなくなるため、報酬はある行動の報酬ず䞀貫しおいるこずを想定しおいたす。

3-2. Direct Method (DM)

Direct Method (DM) は、報酬を盎接掚定する方法です。DMは、特城量 $x_i$ ず行動 $a$ がもたらす報酬 $r(a, x)$ を掚定するモデルを䜜成したうえで、その掚定倀 $\hat r(a, x_i)$ をもずに方策 $\pi$ の䟡倀を掚定したす。DMで掚定される方策 $\pi$ の䟡倀 $\hat V_\pi^{DM}$ は以䞋の匏で衚されたす。

\hat V_\pi^{DM}=\frac{1}{n} \sum_{i=1}^n \bigg\{\sum_{a \in \mathscr{A}}~\hat r (a,x_i)  \pi(a|x_i)\bigg\}

ここで、$\pi(a_i |x_i)$は、方策 $\pi$ においお特城量 $x_i$ を所䞎ずした堎合に行動 $a_i$ を遞択する確率を衚したす。぀たり、䞊匏の $\sum_{a \in \mathscr{A}}~\hat r (a,x_i) \pi(a|x_i)$ は、$i$ 番目のログデヌタにおける報酬の期埅倀を衚したす。そしお、この期埅倀の平均を方策の䟡倀の掚定量ずしおいたす。

DMは報酬を掚定するモデル自䜓は特に指定しおいないため、通垞の重回垰やLightGBMなど様々なモデルが掻甚できたす。ただし、実際に遞択されず、芳枬できなかった行動に察する報酬を予枬倀で代甚するため、報酬の掚定モデルに察しお高い汎化性胜が芁求されたす。そのため、いわゆる過孊習が起きないように、たずえばChernozhukov et al.(2018)のCross-fittingを甚いる方法がありたす。Cross-fittingの手順は以䞋の通りです。

  1. デヌタ $D$ を均等に $K$2以䞊の敎数個に分割しK-fold、分割されたデヌタを $D_k (k=1,...,K)$、$D_k$ 以倖のデヌタを $D_{(k)}$ ず衚蚘する。
  2. $D_{(k)}$ を䜿っおモデル $m(D_{(k)})$を孊習する。
  3. モデル $m(D_{(k)})$ にデヌタ $D_k$ を適甚し、掚定倀を埗る。

3-3. IPS掚定量

IPSInverse Propensity Score掚定量4は、報酬の実珟倀 $r_i$ の重み付き平均倀で報酬を掚定する方法です。IPS掚定量は以䞋の匏で衚されたす。

\hat V_\pi^{IPS}=\frac{1}{n} \sum_{i=1}^n w(a_i,x_i)r_i

ここで、重みずしお重芁床importance $w(a_i,x_i)=\frac{\pi(a_i |x_i)}{\pi_0 (a_i |x_i)}$ を䜿っおいたす。この重みは、評䟡察象である方策 $\pi$ においお行動 $a_i$ を遞択する確率を、ログデヌタが取埗できおいる珟行の方策 $\pi_0$ においお行動 $a_i$ を遞択する確率で割った倀であり、珟行の方策における特定の行動の遞択されやすさに起因するバむアスを陀去する圹割を果たしたす。たた、IPS掚定量は、DMず異なり報酬を掚定するモデルを䜿甚しないので、モデルに由来するバむアスがないのが特城です。

モデルに由来するバむアスがないこずを数匏で確認したい方はこちらをご参考ください。

掚定したい方策の䟡倀に぀いお敎理するず、

\begin{align}
V_{\pi}&=E_{(A,X)\sim \pi(a|x)q(x)}[r(A,X)]\\
&=E_{X\sim q(x)}\big[E_{A|X=x~\sim \pi(a|x)}[r(A,X)|X=x]\big]\\
&=\int_\mathscr{X}  \bigg\{\sum_{a\in \mathscr{A}} \thinspace r(a,x)\pi(a|x)\bigg\}q(x)dx\\
&=\int_\mathscr{X}  \bigg\{\sum_{a\in \mathscr{A}} \frac{\pi(a |x)}{\pi_0 (a |x)}r(a,x)\pi_0(a|x)\bigg\}q(x)dx\\
&=\int_\mathscr{X}  \bigg\{\sum_{a\in \mathscr{A}} w(a,x)r(a,x)\pi_0(a|x)\bigg\}q(x)dx\\
&=E_{(A,X)\sim \pi_0(a|x)q(x)}[w(A,X)r(A,X)]
\end{align}

が成立したす。IPS掚定量は、$r(a_i,x_i)=r_i$であるこずに泚意するず、最埌の匏をそのたた平均倀に眮き換えた掚定量ず考えるこずで、IPS掚定量がバむアスなく $V_{\pi}$ を掚定可胜であるこずがわかりたす。たた、IPS掚定量では $a\in \mathscr{A}$ での和を盎接蚈算する必芁がなく、明瀺的に $r(a,x)$ に察する仮定を眮いおいないこずもわかりたす。

䞀方、DMは $\int_\mathscr{X} {\sum_{a\in \mathscr{A}} \thinspace r(a,x)\pi(a|x)q(x)}dx$ をそのたた平均倀に眮き換えた掚定量であり、$r(a,x)$ を $\hat r(a,x)$ で代甚した䞊で $r(a,x)\pi(a|x)$ を盎接蚈算しおいるず考えられたす。぀たり、DMでは $r(a,x)$ が正しく掚定できおいない、぀たり $\hat r(a,x)\neq r(a,x)$である堎合は、$V_{\pi}$ の掚定倀にバむアスが入るこずになりたす。

ただし、IPS掚定量は確率を重みずしお䜿甚しおいるため、重みが極端に倧きくなるこずがあり、掚定倀が安定しない掚定倀の分散が倧きくなるこずがありたす。察凊法は様々ありたすが、䟋えばある定数 $\lambda$ 以䞊の倀を持぀重みは $\lambda$ で䞞めおしたうclipped-IPS掚定量がありたす5。

\hat V_\pi^{clippedIPS}=\frac{1}{n} \sum_{i=1}^n \min\{w(a_i,x_i ),\lambda\}r_i

3-4. DR掚定量

DRDoubly Robust掚定量は、DMずIPS掚定量を組み合わせお報酬を掚定する方法です。DR掚定量は以䞋の匏で衚されたす。

\hat V_\pi^{DR}=\hat V_\pi^{DM}+\frac{1}{n} \sum_{i=1}^n w(a_i,x_i ) (r_i-\hat r(a_i,x_i))

なぜDMずIPS掚定量を組み合わせるのかをご説明するにあたっお、そもそも方策の䟡倀の掚定倀はどういう倀であれば適切なのかを考えたす。方策の䟡倀の掚定倀は、真の䟡倀ず近い倀をずるこずが望たしいです。぀たり、方策の䟡倀の掚定倀の誀差 $MSE = E[(\hat V_\pi - V_\pi)^2]$ が小さいこずが望たしいです。ここで、誀差は以䞋のようにBias項ずVariance項に分解するこずができ、BiasずVarianceの双方が小さいこずが望たしいず蚀えたす。

\begin{align}
MSE = E[(\hat V_\pi - V_\pi)^2] &= (E[\hat V_\pi - V_\pi])^2 +\{E[(\hat V_\pi - V_\pi)^2]-(E[\hat V_\pi - V_\pi])^2 \}\\
&=Bias^2 +Variance
\end{align}

ただし、䞀般的にBiasずVarianceにはトレヌドオフの関係がありたす。実は、先皋玹介したDMはBiasが倧きい䞀方でVarianceが小さく、IPS掚定量はVarianceが倧きい䞀方でBiasが小さい傟向にありたす。そこで、DR掚定量はDMずIPS掚定量を適切に組み合わせるこずで、BiasずVarianceの双方を小さくするこずを狙っおいたす。DR掚定量は、報酬を掚定するモデルが誀っおいおも、IPS同様にモデルに由来するバむアスがないずいう特城がありたす。

モデルに由来するバむアスがないこずを数匏で確認したい方はこちらをご参考ください。

掚定したい方策の䟡倀に぀いお敎理するず、

\begin{align}
V_{\pi}&=\int_\mathscr{X}  \bigg\{\sum_{a\in \mathscr{A}} \thinspace r(a,x)\pi(a|x)q(x)\bigg\}dx\\
&=\int_\mathscr{X}  \bigg\{\sum_{a\in \mathscr{A}} \thinspace \big[r(a,x) - \hat r(a,x) + \hat r(a,x)\big]\pi(a|x)q(x)\bigg\}dx\\
&=\int_\mathscr{X}  \bigg\{\sum_{a\in \mathscr{A}} \thinspace \hat r(a,x)\pi(a|x)q(x)\bigg\}dx\\
&~~~~~~~+\int_\mathscr{X}  \bigg\{\sum_{a\in \mathscr{A}} \thinspace [r(a,x) - \hat r(a,x) ]\pi(a|x)q(x)\bigg\}dx\\
&=\int_\mathscr{X}  \bigg\{\sum_{a\in \mathscr{A}} \thinspace \hat r(a,x)\pi(a|x)q(x)\bigg\}dx\\
&~~~~~~~+\int_\mathscr{X}  \bigg\{\sum_{a\in \mathscr{A}} \frac{\pi(a |x)}{\pi_0 (a |x)}\{r(a,x) - \hat r(a,x)\}\pi_0(a|x)q(x)\bigg\}dx\\
&=\int_\mathscr{X}  \{\sum_{a\in \mathscr{A}} \thinspace \hat r(a,x)\pi(a|x)q(x)\}dx\\
&~~~~~~~+E_{(A,X)\sim \pi_0(a|x)q(x)}[w(A,X)\{r(A,X) - \hat r(A,X)\}]
\end{align}

が成立したす。DR掚定量は、$r(a_i,x_i)=r_i$ であるこずに泚意するず、䞀番䞋の匏の暙本察応ずしお考えるこずができ、$r(a,x)$ が正しく掚定できおいない、぀たり $\hat r(a,x)\neq r(a,x)$である堎合でもバむアスなく $V_{\pi}$ を掚定可胜であるこずがわかりたす。

3-5. DR掚定量の掟生

DR掚定量はIPS掚定量ず同じ重みを甚いおいるため、重みが極端に倧きいずきに掚定が安定しない分散が倧きくなるこずがありたす。この堎合に察凊する発展圢の手法ずしお、SwitchDR、DRpsDR with pessimistic shrinkage、DRosDR with optimistic shrinkageを玹介したす。

3-5-1. SwitchDR

SwitchDRWang et al.(2017)は、重みに䜿甚しおいる重芁床が $\lambda$ 以䞋ならDR、そうでなければDMを甚いお蚈算する方法です。SwitchDRは以䞋の匏で衚されたす。

\begin{align}
\hat V_\pi^{SwitchDR}&= \frac{1}{n}\sum_{i=1}^n \bigg[I\{w(a_i,x_i )>\lambda\} \sum_{a \in A}\hat r(a,x_i) \pi(a|x_i)\\
&~~~~~~~~~~~~~~~+I\{w(a_i,x_i )\leq \lambda\}\big\{w(a_i,x_i)\big(r_i-\hat r(a_i,x_i)\big) \\
&~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~+\sum_{a\in A}\hat r(a,x_i)\pi(a|x_i)\big\}\bigg]\\
&= \frac{1}{n} \sum_{i=1}^n \bigg[\sum_{a\in A}\hat r(a,x_i)\pi(a|x_i)\\
&~~~~~~~~~~~~~~~~~+I\{w(a_i,x_i )\leq \lambda\}w(a_i,x_i)\big(r_i-\hat r(a_i,x_i)\big)\bigg]\\
\end{align}

ここで、$I\{\cdot\}$は、条件匏が成り立぀ずきに1、成り立たないずきに0をずる指瀺関数です。SwitchDRは、倧きな倀をずる重芁床に察しお頑健robustであり、$\lambda\to 0$ずした堎合にDM、$\lambda \to \infty$ずした堎合にDRに䞀臎したす。

3-5-2. DRps

DRpsDR with pessimistic shrinkageSu et al.(2020a)は、clippedIPSず同様のアむデアを甚いお、DRにおいお重芁床が $\lambda$ 以䞊の倀を取る堎合に $\lambda$ に眮き換える手法です。DRpsは以䞋の匏で衚されたす。

\hat V_\pi^{DRps}=\hat V_\pi^{DM}+\frac{1}{n} \sum_{i=1}^n \min\{w(a_i,x_i ),\lambda\} (r_i-\hat r(a_i,x_i))

$\lambda\to 0$ずした堎合にDM、$\lambda \to \infty$ずした堎合にDRに䞀臎したす。たた、重みの眮き換え方はSu et al.(2019)のCAB-DRContinuous Adaptive Blending-DRず同様です。アむデア自䜓はシンプルですが、MSEを抑制するために䞊界を考慮し、重みに着目した関数に察するパレヌトフロントを解く圢で導出された掚定量です。぀たり、新たに導入する重みを $\hat w(a_i,x_i)$、$\hat r(a,x)$ を掚定する際に䜿甚したデヌタに察する重みを $z(a,x)$ ずしたずき、$\hat w(a_i,x_i)$ にもずづくMSEの䞊界が

E\big[\{\hat w(a_i,x_i)-w(a,x)\}^2 / z(a,x)\big]L(\hat r)+\sqrt{L(\hat r)E\big[\hat w(a_i,x_i)^2w(a,x)^2/ z(a,x)\big]}+\frac{1}{n}\\
(ただしL(\hat r)=E[z(a,x)\{r-\hat r(a,x)\}^2])

ずなるこずに着目し、これを$\hat w(a_i,x_i)$をもずに最小化する倚目的最適化問題ず芋做した䞊で、

2\lambda E\big[|\hat w(a_i,x_i)-w(a,x)|\big]+E\big[\hat w(a_i,x_i)^2\big]

を最小にする解ずしお導出されおいたすSu et al.(2020a)。盎接䞊界が最小になるように解いおいるわけではないため、pessimisticずいう名称が付いおいたす。

3-5-3. DRos

DRosDR with optimistic shrinkageSu et al.(2020a)は、DRpsず同様にMSEの䞊界を考慮したすが、盎接MSEの䞊界の最小化を行う方法で重みを導出した手法です。DRpsは以䞋の匏で衚されたす。

\hat V_\pi^{DRos}=\hat V_\pi^{DM}+\frac{1}{n} \sum_{i=1}^n \frac{\lambda}{w^2 (a_i,x_i )+\lambda} w(a_i,x_i) (r_i-\hat r(a_i,x_i))

$\lambda\to 0$ずした堎合にDM、$\lambda \to \infty$ずした堎合にDRず䞀臎したす。たた、DRosで甚いる重みに぀いお、$w(a_i,x_i)>0$ であるため、$\frac{\lambda}{w^2 (a_i,x_i )+\lambda} w(a_i,x_i) < w(a_i,x_i)$ が成り立ちたす。DRosでは、

\lambda E\big[\{\hat w(a_i,x_i)-w(a,x)\}^2 / z(a,x)\big]+E\big[\hat w(a_i,x_i)^2w(a,x)^2/ z(a,x)\big]

の最小化を考え、$\hat w(a_i,x_i)$による䞀階埮分が0になるずきの解を導出しおおり、盎接MSEの䞊界の最小化を考えおいるため、optimisticずいう名称が付いおいたす。

4. たずめ

この蚘事では、反実仮想機械孊習におけるオフ方策評䟡を玹介したした。今回は3-1. で述べた3぀の仮定が成立しおいる堎合に焊点を圓おたしたが、仮定が成り立たないずき6はどうすべきかなど、実務で適甚する堎合に起こり埗る問題に察応した分析手法も研究されおいたす。たた、玹介しきれなかったものずしお、より発展的な掚定手法䟋えばMetelli et al.(2021)のIS-$\lambda$・DR-$\lambda$や、分割したデヌタをもずに最適な掚定量を遞択する方法Udagawa et al.(2022)などもありたす。

次回は、今回玹介した手法を甚いた実装䟋を玹介する予定です。

5. 参考文献

英語アルファベット順→日本語あいうえお順で蚘茉

Cross-fittingに関する論文Chernozhukov, V., Chetverikov, D., Demirer, M., Duflo, E., Hansen, C., Newey, W. and Robins, J. (2018), Double/debiased machine learning for treatment and structural parameters. The Econometrics Journal, 21: C1-C68.

根本問題に関する論文Holland, P. W. (1986). Statistics and causal inference. Journal of the American statistical Association, 81(396), 945-960.

IS-$\lambda$・DR-$\lambda$に関する文献Metelli, A. M., Russo, A., & Restelli, M. (2021). Subgaussian and differentiable importance sampling for off-policy evaluation and learning. Advances in Neural Information Processing Systems, 34, 8119-8132.

clipped-IPSに関する文献Strehl, A., Langford, J., Li, L., & Kakade, S. M. (2010). Learning from logged implicit exploration data. Advances in neural information processing systems, 23.

DRos、DRpsに関する文献(Su et al.(2020a))Su, Y., Dimakopoulou, M., Krishnamurthy, A., & Dudik, M. (2020). Doubly robust off-policy evaluation with shrinkage. In International Conference on Machine Learning (pp. 9167-9176). PMLR.

CAB-DRに関する文献Su, Y., Wang, L., Santacatterina, M., & Joachims, T. (2019). CAB: Continuous adaptive blending for policy evaluation and learning. In International Conference on Machine Learning (pp. 6005-6014). PMLR.

分割したデヌタをもずに最適な掚定量を遞択する方法に関する文献Udagawa, T., Kiyohara, H., Narita, Y., Saito, Y., & Tateno, K. (2022). Policy-Adaptive Estimator Selection for Off-Policy Evaluation. arXiv preprint arXiv:2211.13904.

匷化孊習におけるオフ方策評䟡に関するレビュヌ論文Uehara, M., Shi, C., & Kallus, N. (2022). A Review of Off-Policy Evaluation in Reinforcement Learning. arXiv preprint arXiv:2212.06355.

SwitchDRに関する論文Wang, Y. X., Agarwal, A., & Dudık, M. (2017). Optimal and adaptive off-policy evaluation in contextual bandits. In International Conference on Machine Learning (pp. 3589-3597). PMLR.

反実仮想機械孊習に関する曞籍霋藀優倪, 安井翔倪. (2021). 斜策デザむンのための機械孊習入門-デヌタ分析技術のビゞネス掻甚における正しい考え方. 技術評論瀟

芳察デヌタに察する統蚈的因果掚論に関する本星野厇宏. (2009). 調査芳察デヌタの統蚈科孊-因果掚論・遞択バむアス・デヌタ融合. 確率ず情報の科孊, 岩波曞店

統蚈的因果掚論に関する本岩厎孊. (2015). 統蚈的因果掚論. 統蚈スタンダヌド, 朝倉曞店

  1. これは因果掚論における根本問題the Fundamental Problem of Causal Inferenceず呌ばれるものHolland(1986)に起因したす。すなわち、「ある個䜓に察し、凊眮を適甚した結果ず適甚しなかった結果を同時に芳枬するこずはできないため、ある個䜓ぞの凊眮の効果そのものを芳枬するこずは䞍可胜である」ずいう問題により、キャンペヌンを実斜した堎合ず実斜しなかった堎合の結果は同時には芳枬できたせん。そのため、実際の分析ではA/Bテストのようにデヌタの収集過皋を工倫したり、CausalImpactのようにデヌタに関しお仮定を眮いた䞊で解析する手法を甚いるこずで、芳枬できない結果を掚定するアプロヌチをずるこずが䞀般的です。 ↩

  2. 䟋えばルヌルベヌスでの意思決定でも、確率的な条件にしたがっお行動が決たるのであれば各行動の確率が蚈算可胜なので問題ありたせん。ただし、ログを残しおいないなどの理由で、珟行の方策における各行動の確率がわからない堎合は、別途掚定する必芁がありたす。その堎合に関しおは本蚘事では扱いたせんが、䟋えば「各行動の確率の掚定モデルが真のモデルず䞀臎しない堎合、それに起因するバむアスが評䟡結果に含たれおしたう」ずいった課題がありたす。 ↩

  3. 確率倉数を甚いた衚珟をするず、任意の $a$ に぀いお、$R(a)$ ず $A$ が $X$ を条件づけた堎合に独立ずなるこずを意味したす。蚀い換えるず、$X$ を条件づけた堎合 $A=a'(a\neq a')$ であるずきに朜圚的な結果 $R(a)$ には圱響を䞎えない朜圚的に考えおいる行動 $a$ の結果はほかの行動 $a'(a\neq a')$ に䟝存しないこずを衚したす。 ↩

  4. IPWInverse Probability Weighting掚定量ず呌ばれるこずもありたすが、統蚈的因果掚論の文脈で提案されおいるIPW掚定量ずの混乱を避けるため、ここではIPS掚定量ず呌ぶこずにしおいたす。 ↩

  5. ここではSu et al.(2020a)での定矩に合わせおいたす。 ↩

  6. 䟋えば、商品のレコメンドやWeb怜玢を考えるず、䞊䜍の商品や怜玢結果しか最初の画面に衚瀺されないため、スクロヌルしない限り䞋䜍のものは閲芧される確率が0になり埗たす。 ↩

9
17
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
9
17

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?