ななぶろ

-お役立ち情報を気楽に紹介するブログ-

機械学習プログラム例：教師なし学習の世界へようこそ

機械学習 Python プログラミング

www.amazon.co.jp

はじめに

機械学習は、データからパターンを学び、予測や意思決定を行うための強力なツールです。その中でも「教師なし学習」は、ラベル付けされていないデータ（正解が与えられていないデータ）を用いて、データの構造や隠れた関係性を発見するアプローチです。この記事では、教師なし学習の基本的な概念から具体的なプログラム例までを解説し、この魅力的な分野への理解を深めていきます。

1. 教師なし学習とは？ - 正解のない学習

機械学習は大きく分けて「教師あり学習」「教師なし学習」「強化学習」の3つに分類されます。教師あり学習では、入力データとそれに対応する正解（ラベル）が与えられ、モデルはその関係性を学習します。一方、教師なし学習では、ラベル付けされていないデータのみが与えられます。

例えば、以下のような状況で教師なし学習が役立ちます。

  • 顧客セグメンテーション: 顧客の購買履歴や行動パターンから、似たような属性を持つグループに分類したい。
  • 異常検知: 通常とは異なる挙動を示すデータを自動的に検出したい（不正アクセス検知など）。
  • 次元削減: データの重要な特徴を保持しつつ、データ量を減らしたい。

教師なし学習の目的は、データそのものの構造を理解することにあります。具体的には、データのクラスタリング（グループ分け）、データの次元削減、データの密度推定などが挙げられます。

2. 教師なし学習の代表的な手法

教師なし学習には様々な手法が存在します。ここでは主要なものをいくつか紹介します。

  • クラスタリング: データポイントを類似性に基づいてグループに分割する手法です。

    • K-means法: 指定された数のクラスタ（K）にデータを割り当てるアルゴリズムです。各データポイントは、最も近いクラスタの中心点に割り当てられます。
    • 階層的クラスタリング: データポイント間の距離に基づいて、階層的なクラスタ構造を構築する手法です。ボトムアップ型（凝集型）とトップダウン型（分割型）の2種類があります。
    • DBSCAN (Density-Based Spatial Clustering of Applications with Noise): データの密度に基づいてクラスタを形成するアルゴリズムです。ノイズとなるデータポイントも検出できます。

  • 次元削減: 高次元データを、重要な情報を保持しつつ低次元に変換する手法です。

    • 主成分分析 (PCA): データの特徴量間の相関関係を利用して、データの分散が最大になる方向（主成分）を見つけ出し、それに基づいて次元を削減します。
    • 特異値分解 (SVD): 行列を3つの行列の積に分解する手法です。PCAと似た効果があり、画像圧縮などに利用されます。

  • 自己組織化マップ (SOM): 高次元データを低次元（通常は2次元）の格子状マップ上にマッピングする手法です。データの類似性に基づいて、隣接するノードが近い特徴を持つように学習します。

3. PythonによるK-means法のプログラム例

ここでは、Pythonのライブラリ「scikit-learn」を用いて、K-means法を実装する簡単な例を紹介します。

import numpy as np
from sklearn.cluster import KMeans
import matplotlib.pyplot as plt

# サンプルデータの生成 (2次元)
X = np.array([[1, 2], [1.5, 1.8], [5, 8], [8, 8], [1, 0.6], [9, 11]])

# K-meansモデルの作成 (クラスタ数: 2)
kmeans = KMeans(n_clusters=2, random_state=0, n_init='auto') # n_initはバージョンによって引数が異なる場合があるので注意

# モデルの学習
kmeans.fit(X)

# クラスタラベルの取得
labels = kmeans.labels_

# クラスタの中心点の取得
centroids = kmeans.cluster_centers_

# 結果の可視化
plt.scatter(X[:, 0], X[:, 1], c=labels, cmap='viridis')
plt.scatter(centroids[:, 0], centroids[:, 1], marker='x', s=200, color='red')
plt.title('K-means Clustering Example')
plt.xlabel('Feature 1')
plt.ylabel('Feature 2')
plt.show()

print("クラスタラベル:", labels)
print("クラスタの中心点:", centroids)

このコードでは、まず2次元のサンプルデータ X を生成しています。次に、KMeans クラスを用いて、クラスタ数を2に設定したモデルを作成し、fit() メソッドで学習を行います。 labels_ 属性から各データポイントがどのクラスタに割り当てられたかを確認できます。また、cluster_centers_ 属性から各クラスタの中心点の座標を取得できます。最後に、matplotlibを用いて結果を可視化しています。

解説:

  • numpy: 数値計算ライブラリ
  • sklearn.cluster.KMeans: scikit-learnのクラスタリングモジュールにあるK-means法の実装クラス
  • matplotlib.pyplot: グラフ描画ライブラリ
  • n_clusters=2: クラスタ数を2に設定
  • random_state=0: 乱数シードを設定。再現性を確保するため。
  • fit(X): モデルをデータ X で学習させる。
  • labels_: 各データポイントがどのクラスタに割り当てられたかを示す配列。
  • cluster_centers_: 各クラスタの中心点の座標を示す配列。

4. 教師なし学習の注意点と課題

教師なし学習は、ラベル付けされていないデータから有用な情報を抽出できる強力な手法ですが、いくつかの注意点と課題があります。

  • 結果の解釈: 教師あり学習とは異なり、教師なし学習の結果をどのように解釈するかは、分析者の知識や経験に依存します。
  • 評価方法: 正解データがないため、モデルの性能を客観的に評価することが難しい場合があります。
  • パラメータ調整: クラスタ数（K-means法の場合）などのパラメータを適切に設定する必要があります。
  • データの質: 教師なし学習は、入力データの質に大きく影響されます。ノイズが多いデータや欠損値が多いデータでは、期待通りの結果が得られない可能性があります。

5. より高度な教師なし学習

上記で紹介した手法以外にも、より高度な教師なし学習の手法が存在します。

  • オートエンコーダ: ニューラルネットワークを用いてデータを圧縮し、再構築するモデルです。次元削減や異常検知などに利用されます。
  • 変分自己符号化器 (VAE): オートエンコーダの発展版で、潜在空間に確率分布を仮定することで、より柔軟なデータ生成が可能になります。
  • GAN (Generative Adversarial Network): 生成モデルの一種で、GeneratorとDiscriminatorという2つのネットワークを競わせることで、高品質なデータを生成します。

これらの手法は、より複雑なデータ構造を学習したり、新しいデータを生成したりすることができますが、実装やパラメータ調整が難しい場合があります。

6. 教師なし学習の応用例

教師なし学習は、様々な分野で応用されています。

  • マーケティング: 顧客セグメンテーション、レコメンデーションシステム
  • 金融: 不正検知、リスク管理
  • 医療: 患者分類、疾患予測
  • 画像処理: 画像圧縮、特徴抽出
  • 自然言語処理: トピックモデル、単語埋め込み

7. まとめと今後の展望

この記事では、教師なし学習の基本的な概念から具体的なプログラム例までを解説しました。教師なし学習は、ラベル付けされていないデータから有用な情報を抽出し、様々な問題を解決するための強力なツールです。

今後、教師なし学習の研究はさらに発展していくと考えられます。特に、深層学習との組み合わせによる高度な表現学習や、説明可能なAI (XAI) の実現に向けた研究が注目されています。また、自己教師あり学習（Self-Supervised Learning）のように、ラベル付けされていないデータから擬似的なラベルを生成し、教師あり学習と同様にモデルを学習する手法も注目を集めています。

教師なし学習は、データサイエンスの分野においてますます重要な役割を担っていくでしょう。この記事が、読者の皆様にとって教師なし学習への理解を深める一助となれば幸いです。

参照先:

補足:

この記事では、K-means法を例にプログラムを紹介しましたが、他の教師なし学習手法についても同様にscikit-learnなどのライブラリを利用することで簡単に実装できます。 また、データセットや目的に応じて適切な手法を選択することが重要です。