
G検定#09|教師なし学習とは?データの中に隠れた規則性を探す
皆さん、ご安全に!! 技術屋たかちゃんです。
机の上に、何百枚もの動物の写真が積まれていると想像してください。
犬も猫も、毛の色も大きさもバラバラ。誰も「これは犬」「これは猫」と教えていません。
ところが、コンピューターに写真を読み込ませると、似た特徴を持つ写真が次々と集まり、いくつかのグループができていく。
いったい、何を手掛かりに分類しているのでしょう?
今回は、G検定でも押さえておきたい「教師なし学習」の仕組みを見ていきます。
正解を与えず、データの共通点を探す
機械学習には「教師あり学習」と「教師なし学習」があります。
教師あり学習では、画像に「犬」「猫」といった正解ラベルを付けて学習させます。答えの付いた問題集を渡すようなものです。
教師なし学習では、正解ラベルを与えません。データそのものを渡し、その中に含まれる特徴や規則性を探させます。
相棒のAI(アイ)君が調べたところでは、教師なし学習は、正解ラベルのないデータから構造やパターンを発見するために使われる手法だそうです。
代表的な手法を4つ見てみましょう。
① クラスタリング:似た者同士を集める
クラスタリングは、似た特徴を持つデータをグループにまとめる方法です。
工場の検査ラインを想像してください。ベルトコンベアから製品が流れ、検査装置が寸法、重量、表面状態などを記録していきます。
そのデータをAIに読み込ませる。すると、似た特徴を持つ製品が同じグループに集まります。
代表的な手法が「K-means法」です。
人間があらかじめグループ数Kを決め、各データを近い重心(グループの中心)に振り分けます。
もう一つが「階層クラスタリング」。似たデータ同士を順番に結合し、デンドログラムという樹形図で表します。
ウォード法は、グループ内のばらつきが小さくなるように結合する方法。最短距離法は、最も近いデータやグループ同士を結合します。
② 次元削減:大量の情報を整理する
検査項目が100種類もあったら、データの全体像を把握するのは大変です。
そこで使われるのが「次元削減」。多くの特徴量を、情報をできるだけ保ちながら少ない数に変換します。
代表例は「主成分分析(PCA)」です。データのばらつきをよく表す新しい軸を作り、情報を圧縮します。
「SVD(特異値分解)」は、行列を複数の行列に分解する数学的手法で、文章データの分析にも利用されます。
「MDS(多次元尺度構成法)」は、データ同士の距離や類似度をできるだけ保ちながら、低次元に配置する方法です。
「t-SNE」は、データ同士の局所的な近さを保ちながら、2次元などに配置して可視化します。
大量のデータが、画面上の散布図に点となって並ぶ。似たデータがどこに集まっているか、目で確認できます。
③ レコメンデーション:好みに合いそうな商品を探す
ネット通販で商品を見ていると、「この商品を買った人はこちらも購入しています」と表示されることがあります。
この仕組みに使われるのが推薦システムです。
「協調フィルタリング」は、好みや購入履歴が似ているユーザーの行動を参考に商品を推薦します。
「コンテンツベースフィルタリング」は、商品の色、形、ジャンルなどの特徴を比較し、似た商品を推薦します。
ここで困るのが「コールドスタート問題」です。
新規ユーザーや発売直後の商品には利用履歴がありません。推薦するための手掛かりが少なく、適切な商品を選ぶのが難しくなります。
④ トピックモデル:文章に隠れた話題を探す
新聞記事やSNSの投稿を大量に読み込ませると、どんな話題が含まれているかを分析できます。
代表的な手法が「LDA(潜在的ディリクレ配分法)」です。
一つの文章には複数の話題が含まれると考え、それぞれのトピックに属する確率を推定します。
例えば、AIの記事なら「技術」「経済」「教育」といった話題が混在しています。文章全体を一つの分類に押し込まず、話題ごとの割合で捉える方法です。
AIが見つけたグループには、どんな意味があるのか?
僕が面白いと思うのは、教師なし学習が人間の決めた分類に縛られず、データのまとまりを探せるところです。
工場の検査でも、人間が設定した「正常」「異常」という基準だけでは見つけにくい傾向があります。
寸法、振動、温度などを組み合わせて分析すれば、異常が発生する前の兆候を発見する手掛かりになります。
ただ、AIが作ったグループに、必ず人間が納得できる意味があるわけではありません。分類結果を見て、何が原因なのかを調べる作業は人間に残ります。
AIにデータを渡してみると、人間が思いもしなかった組み合わせが出てくる。
その画面を前にして、「なぜ、この製品とあの製品が同じグループなんだ?」と考え始める。
技術屋にとっては、なかなか面白い時間になりそうです。
技術屋たかちゃんでした。ご安全に!!
G検定 連載
前回:
次回:
目次(マガジン):
G検定対策|教師なし学習で覚える重要用語
1. 教師なし学習の基本用語
① 教師なし学習(Unsupervised Learning)
正解ラベルのないデータを使い、データに潜む構造や規則性を発見する機械学習の手法。クラスタリング、次元削減、トピックモデルなどが代表例。
② 特徴量(Feature)
機械学習でデータの特徴を数値として表したもの。製品なら寸法、重量、温度などが該当する。特徴量の選び方は学習結果に大きく影響する。
③ 正解ラベル(Label)
教師あり学習で使用する正解情報。画像に「犬」「猫」、製品に「正常」「異常」などの情報を付与する。教師なし学習では基本的に使用しない。
2. クラスタリング
④ クラスタリング(Clustering)
特徴が似ているデータ同士をグループにまとめる手法。正解ラベルを必要とせず、顧客分析、画像分析、異常検知などに利用される。
⑤ K-means法(K平均法)
データを事前に指定したK個のクラスタに分割する非階層クラスタリング手法。各データを最も近い重心に割り当て、重心を更新する処理を繰り返す。
⑥ 重心(Centroid)
クラスタに属するデータの平均的な位置を表す点。K-means法では、各データを最も近い重心に割り当てる。重心はデータの平均値から計算される。
⑦ 非階層クラスタリング
データを階層構造にせず、指定したクラスタ数などの条件に従ってグループ分けする手法。K-means法が代表例。大規模データの分類にも利用される。
⑧ 階層クラスタリング
データ同士を順番に結合、または分割して階層構造を作る手法。結果はデンドログラム(樹形図)で表現でき、クラスタ数を後から決められる。
⑨ デンドログラム(樹形図)
階層クラスタリングの結果を樹形図で表したもの。どのデータが、どの距離で結合されたかを確認できる。樹形図を切る高さによってクラスタ数を決められる。
⑩ ウォード法(Ward法)
階層クラスタリングの結合法の一つ。クラスタを結合した際のクラスタ内平方和の増加量が最小になる組み合わせを選ぶ。比較的まとまりのよいクラスタを作る。
⑪ 最短距離法(単連結法)
階層クラスタリングの結合法の一つ。異なるクラスタに属するデータ間の最短距離を基準に結合する。細長く連なったクラスタが形成されやすい。
3. 次元削減
⑫ 次元削減(Dimensionality Reduction)
データが持つ特徴量の数を減らし、少ない次元で表現する手法。計算量の削減、可視化、ノイズの低減などに利用される。
⑬ 次元の呪い(Curse of Dimensionality)
特徴量の次元数が増えることで、データ空間が急速に広がり、データが疎になる問題。距離の差が分かりにくくなり、学習や分析の性能が低下する場合がある。
⑭ 主成分分析(PCA:Principal Component Analysis)
多数の特徴量を、データの分散が最大となる方向から順に主成分へ変換する線形次元削減手法。主成分同士は無相関となり、情報を少数の軸に圧縮できる。
⑮ 主成分(Principal Component)
主成分分析によって作られる新しい軸。第1主成分はデータの分散が最大となる方向、第2主成分は第1主成分と直交し、残りの分散を最大にする方向となる。
⑯ 特異値分解(SVD:Singular Value Decomposition)
行列を3つの行列の積に分解する数学的手法。データの低ランク近似や次元削減に利用される。自然言語処理やレコメンデーションにも応用される。
⑰ 多次元尺度構成法(MDS:Multi-Dimensional Scaling)
データ間の距離や類似度をできるだけ保ちながら、低次元空間に配置する手法。高次元データの関係を2次元の散布図などで可視化できる。
⑱ t-SNE(t-distributed Stochastic Neighbor Embedding)
高次元データの局所的な近傍関係を保ちながら、低次元空間に配置する非線形次元削減手法。画像や文章などの特徴量の可視化に利用される。
4. レコメンデーション
⑲ レコメンデーション(Recommendation)
ユーザーの好みや行動履歴などを分析し、商品やコンテンツを推薦する仕組み。ネット通販、動画配信、音楽配信などで利用される。
⑳ 協調フィルタリング(Collaborative Filtering)
ユーザー同士の購入履歴や評価の類似性を利用して商品を推薦する手法。自分と好みが似たユーザーの行動を参考に、未利用の商品を推薦する。
㉑ コンテンツベースフィルタリング(Content-Based Filtering)
商品やコンテンツ自体の特徴を分析し、ユーザーが過去に好んだものと似た商品を推薦する手法。商品のジャンル、色、キーワードなどを利用する。
㉒ コールドスタート問題(Cold Start Problem)
新規ユーザーや新商品など、利用履歴や評価データが少ないために適切な推薦が難しくなる問題。協調フィルタリングで特に問題になりやすい。
5. トピックモデル
㉓ トピックモデル(Topic Model)
大量の文章データから、潜在的な話題(トピック)を発見する統計的手法。ニュース記事やSNSの投稿などを分析し、文章に含まれる話題の傾向を把握する。
㉔ LDA(Latent Dirichlet Allocation:潜在的ディリクレ配分法)
代表的なトピックモデル。文書は複数のトピックの混合、トピックは単語の確率分布で構成されると仮定し、文章に含まれる話題の割合を推定する。