止められないデータの民主化にどう向き合うか
データの民主化は止められない
AIの発展によって、データの民主化は避けられなくなった。ビジネスサイドが自分でSQLを書かなくても、AIに聞けばデータが返ってくる時代が来ている。
これに対して「民主化には基本的に反対だ」といくら言っても、もはや止められる段階にはない。
なぜなら、止めるインセンティブを持つ人がいないからだ。
データの民主化が止まらない3者それぞれの構造
データの民主化が止まらないのには、構造的な背景がある。
エンジニアサイドにとって、データを使って意思決定することはそもそも範疇の外だ。自分たちが作ったデータ基盤やパイプラインの先で何が行われているかは、職務上の関心事ではない。抽出依頼を手放したいのは当然の流れである。
ビジネスサイドには、データ分析に関する体系的な教育の機会がない。評価基準もない。独学で何かやったとして間違っても問題にならない。質よりも、自分で何かをやること自体が評価されるなら、やらない理由はない。
経営サイドにとっては、分析リテラシーの欠如がこれまで問題になったことがない。少なくとも、問題として認識されたことがない。データ活用自体の広がりが最近の動きであり、当人達はデータがなくても意思決定はしてきたし、会社は回ってきた。なので現場でうまく行っているように見えるのであれば「データ活用を推進している」という実感は得られる。
3者とも悪意があるわけではない。構造的にそうなっている。誰も止める理由がないのだから、止まるわけがない。
間に入る人がいなくなる
データの民主化で起きるのが「データを作る人と使う人の分断」だ。
今までは、データの抽出や分析の過程に誰かが介在していた。エンジニアであれ、アナリストであれ、間に人が入ることで、おかしな要求に対してチェックが働く余地があった。
重複した依頼。興味本位でしかなく分析につながらないデータの依頼。そもそも問いの立て方がおかしいもの。こうしたものは、介在する人間がいれば弾くことができた。完璧ではなかったにしても、フィルターとして機能していた。
AIによる民主化が進めば、個人が直接データに触れる。間に入る人がいなくなる。工数の問題はAIが解決するかもしれないが、おかしなデータの使い方や、適当な分析が増えることは避けられないだろう。
AIが民主化しているのは集計や要約を実行する能力だ。分析能力が上がらないまま実行コストだけ下がるので、雑な抽出や分析が増える。
筆者はデータ整備の仕事で数多くの抽出依頼に対応してきたが、依頼そのままで解決する場合の方が少ない。過不足や間違いがある依頼の方が圧倒的に多い。AIでいくらかは解決するだろうが、すべては無理だろう。特に欲しいデータがきちんと言語化できない人は最初からつまづく。これらが誰も間に入らないことで無駄な抽出やおかしな分析が大量に発生すると考える方が自然だ。
それでもリテラシーは上がらない
では、同時にリテラシーを上げればいいのではないか。そうならない理由は3つある。訂正されない。評価されない。訓練機会がない。
まず、訂正されない。抽出や分析の現場では、明らかにやり方がおかしい分析を後になって指摘しても、結果がビジネスサイドにとって都合のいいものであれば結論は変わらない。個人レベルの会話で終わってしまうし、訂正を求める正式なルートもない。外部に既に公開された情報であれば、もはやどうにもならない。早い段階でわかる人が介入するしかないのだが、データの民主化はその介入する機会を失わせる。
次に、評価されない。正しい抽出や分析を行ったとしても、それを誰も評価しない。何が正しいかがわからないから基準を作れない。だから質よりとにかくやることが優先される。問いの立て方、抽出すべきデータ、分析そのものについて体系的に評価している企業を、少なくとも筆者は知らない。
最後に、訓練機会がない。知識が体系化されていないこともあるが、それ以前に訓練をしなければならないという認識が経営者側に存在していない。そのため、特に訓練を受けたわけでもない人が、通常業務の片手間で、隙間時間に分析をやることになる。
データを民主化するからこそ必要なこと
データを民主化してさらに「正しく使えるようにする」ことを考えると、選択肢は2つしかない。
正しい分析をできるようにするか、正しい分析の依頼を出し、その結果を評価できるようにするかだ。後者の場合は依頼を受け、抽出や分析を実行する人も必要になる。
そしてこれは、おそらく多くの人が考える「民主化」とは逆行するものだろう。
学べるものがない
分析リテラシーが必要だという話は、多くの人が漠然と感じていることだと思う。しかし、では何をどう学べばいいのか。体系的にまとまった情報がほとんど存在しない。
ソフトウェアであれば、動くかどうかで動作確認ができる。しかし分析で確かめなければならないのは、SQLが正しく動いたかどうかではない。得られた洞察が妥当かどうかを最終的に判断するのは、人である。
ところが世の中に出回っている分析系のコンテンツは、SQLの書き方、Pythonの使い方、ツールの操作方法が中心だ。
「何のために分析するのか」「分析結果をどう評価するのか」「依頼はどう出すべきか」といった、分析の考え方や判断力にあたる部分を体系的に扱ったものは見当たらない。AIを使っても、最終的に結果を評価するのは人間である。
分析の手法の話じゃなくてもっと手前のところが全然足りてない。レシピはたくさんあるけれども包丁の使い方や保存方法、栄養学の基礎がない状態がずっと続いている。
ささやかな抵抗を続ける
と思って自分にできることをやろうと以前から分析についてはちらほら書いてはいる。そろそろ体系化したものをまとめたい、と何度も言っている気がするがまだできていない。
書くとしたらどんな話になるだろう、ということだけは以前から妄想がある。
データ分析とは何か
意思決定と分析のプロセス
プロセスの各フェーズの詳細
データ分析プロセスの実際
役割・責任
分析はこの中の1フェーズであるがそこだけでも膨大な量になることは目に見えていて、全部かけるのはいつになることやら。初心者用にダイジェスト版を先に書こうとはしてるけどそれでも結構なことになりそう。
とはいえこれが自分にできることなので手遅れかもしれないけれども続けていくしかない。
