データサイエンス大全

項目一覧

• 定義
  • データとは
  • 基本用語
  • データの数式表現
• 用語一覧
• 機械学習における共通の発想
• 評価指標一覧
• 曖昧さ回避

手法一覧

• 線型回帰
• Ridge回帰
• Lasso回帰
• ElasticNet回帰
• ロジスティック回帰（L1正則化）
• ロジスティック回帰（L2正則化）
• ロジスティック回帰（ElasticNet正則化）
• 決定木
• サポートベクターマシン
• ニューラルネットワーク

説明変数の線型結合によって目的変数を予測するモデル。 残差平方和の最小化（最小二乗法）を通じてパラメータ\(\mathbf w , b\)を決定する。

• 目的関数：残差平方和
• 最適化手法：最小二乗法

model = sklearn.linear_model.LinearRegression(
    fit_intercept=True)

$$ f(\mathbf x) = w_1 x_1 + w_2 x_2 + ... + w_n x_n + b $$

$$ {\rm minimize} \quad L(\mathbf w, b) = \sum_{i=1}^{N} (f(\mathbf x_i) - y_i)^2 $$

線型回帰にL2正則化を加えたモデル。 パラメータの二乗和をペナルティとして加えることで、過学習を防ぐ効果がある。

• 目的関数：残差平方和 + L2正則化項
• 最適化手法：正則化最小二乗法

model = sklearn.linear_model.Ridge(
    alpha=1.0)

sklearn.linear_model.Ridge

$$ f(\mathbf x) = w_1 x_1 + w_2 x_2 + ... + w_n x_n + b $$

$$ {\rm minimize} \quad L(\mathbf w, b) = \sum_{i=1}^{N} (f(\mathbf x_i) - y_i)^2 + \alpha \sum_{j=1}^{n} w_j^2 $$

A. E. Hoerl and R. W. Kennard. (1970). Ridge Regression: Biased Estimation for Nonorthogonal Problems. Technometrics, 12(1), 55–67. https://doi.org/10.1080/00401706.1970.10488634

線型回帰にL1正則化を加えたモデル。 パラメータの絶対値の和をペナルティとして加えることで、不要な説明変数の係数を0にする効果がある。

• 目的関数：平均二乗誤差 + L1正則化項
• 最適化手法：座標降下法

model = sklearn.linear_model.Lasso(
    alpha=1.0)

sklearn.linear_model.Lasso

$$ f(\mathbf x) = w_1 x_1 + w_2 x_2 + ... + w_n x_n + b $$

$$ {\rm minimize} \quad L(\mathbf w, b) = \frac{1}{2N} \sum_{i=1}^{N} (f(\mathbf x_i) - y_i)^2 + \alpha \sum_{j=1}^{n} |w_j| $$

R. Tibshirani. (1996). Regression Shrinkage and Selection Via the Lasso. Journal of the Royal Statistical Society: Series B (Methodological), 58(1), 267–288. https://doi.org/10.1111/j.2517-6161.1996.tb02080.x

線型回帰にL1正則化とL2正則化の両方を加えたモデル。 Lasso回帰とRidge回帰の利点を組み合わせている。

• 目的関数：平均二乗誤差 + L1正則化項 + L2正則化項
• 最適化手法：座標降下法

model = sklearn.linear_model.ElasticNet(
    alpha=1.0,
    l1_ratio=0.5)

sklearn.linear_model.ElasticNet

$$ f(\mathbf x) = w_1 x_1 + w_2 x_2 + ... + w_n x_n + b $$

$$ {\rm minimize} \quad L(\mathbf w, b) = \frac{1}{2N} \sum_{i=1}^{N} (f(\mathbf x_i) - y_i)^2 + \alpha \left( l1\_ratio \sum_{j=1}^{n} |w_j| + \frac{1 - l1\_ratio}{2} \sum_{j=1}^{n} w_j^2 \right) $$

H. Zou and T. Hastie. (2005). Regularization and variable selection via the elastic net. Journal of the Royal Statistical Society: Series B (Statistical Methodology), 67(2), 301–320. https://doi.org/10.1111/j.1467-9868.2005.00503.x

説明変数の線型結合をシグモイド関数に通すことで、目的変数が特定のクラスに属する確率を予測するモデル。

• 目的関数：交差エントロピー + L2正則化項
• 最適化手法：準ニュートン法

model = sklearn.linear_model.LogisticRegression(
    C=1.0,
    l1_ratio=0.0)

sklearn.linear_model.LogisticRegression

$$ f(\mathbf x) = \frac{1}{1 + e^{-(w_1 x_1 + w_2 x_2 + ... + w_n x_n + b)}} $$

$$ {\rm minimize} \quad L(\mathbf w, b) = - \sum_{i=1}^{N} \left[ y_i \log f(\mathbf x_i) + (1 - y_i) \log (1 - f(\mathbf x_i)) \right] + \frac{1}{2C} \sum_{j=1}^{n} w_j^2 $$

多クラス分類の場合、ソフトマックス関数を用いる。

$$ f_k(\mathbf x) = \frac{e^{w_{1,k} x_1 + w_{2,k} x_2 + ... + w_{n,k} x_n + b_{k}}}{\sum_{k=1}^{K} e^{w_{0,k} + w_{1,k} x_1 + w_{2,k} x_2 + ... + w_{n,k} x_n}} $$

$$ {\rm minimize} \quad L(\mathbf w, b) = - \sum_{i=1}^{N} \sum_{k=1}^{K} y_{i,k} \log f_k(\mathbf x_i) + \frac{1}{2C} \sum_{k=1}^{K} \sum_{j=1}^{n} w_{j,k}^2 $$

D. W. Hosmer Jr, S. Lemeshow and R. X. Sturdivant. (2013). Applied logistic regression. John Wiley & Sons.

ロジスティック回帰にL1正則化を加えたモデル。 パラメータの絶対値の和をペナルティとして加えることで、不要な説明変数の係数を0にする効果がある。

• 目的関数：交差エントロピー + L1正則化項
• 最適化手法：勾配降下法

model = sklearn.linear_model.LogisticRegression(
    C=1.0,
    l1_ratio=1.0,
    solver='saga')

sklearn.linear_model.LogisticRegression

$$ f(\mathbf x) = \frac{1}{1 + e^{-(w_1 x_1 + w_2 x_2 + ... + w_n x_n + b)}} $$

$$ {\rm minimize} \quad L(\mathbf w, b) = - \sum_{i=1}^{N} \left[ y_i \log f(\mathbf x_i) + (1 - y_i) \log (1 - f(\mathbf x_i)) \right] + \frac{1}{C} \sum_{j=1}^{n} |w_j| $$

多クラス分類の場合、ソフトマックス関数を用いる。

$$ f_k(\mathbf x) = \frac{e^{w_{1,k} x_1 + w_{2,k} x_2 + ... + w_{n,k} x_n + b_{k}}}{\sum_{k=1}^{K} e^{w_{0,k} + w_{1,k} x_1 + w_{2,k} x_2 + ... + w_{n,k} x_n}} $$

$$ {\rm minimize} \quad L(\mathbf w, b) = - \sum_{i=1}^{N} \sum_{k=1}^{K} y_{i,k} \log f_k(\mathbf x_i) + \frac{1}{C} \sum_{k=1}^{K} \sum_{j=1}^{n} |w_{j,k}| $$

D. W. Hosmer Jr, S. Lemeshow and R. X. Sturdivant. (2013). Applied logistic regression. John Wiley & Sons.

説明変数に対する条件分岐によってデータを分割していくことで分類を行うモデル。 最終的に出来上がるものが木構造になることからこの名前がついている。

• 目的関数：ジニ不純度（分類）、平均二乗誤差（回帰）
• 最適化手法：貪欲法

model = sklearn.tree.DecisionTreeClassifier(
    max_depth=5,
    min_samples_split=2)

sklearn.tree.DecisionTreeClassifier

• ランダムフォレスト：複数の決定木を組み合わせて予測精度を向上させる手法。
• 勾配ブースティング木：逐次的に決定木を構築し、誤差を補正していく手法。XGBoost、LightGBMなど。

分類問題の場合、葉ノードの出力値\( c_m \)はその領域に属するデータの多数決によって決定される。

$$ f(\mathbf x) = \sum_{m=1}^{M} c_m \cdot I(\mathbf x \in R_m) $$

\( M \)は葉ノードの数、\( c_m \)は葉ノード\( m \)の出力値、\( R_m \)は葉ノード\( m \)に対応する領域、\( I(\cdot) \)は指示関数（条件が真なら1、偽なら0を返す関数）。\( p_k \)はクラス\( k \)の割合。

$$c_m = \textrm{argmax}_k \sum_{i: \mathbf x_i \in R_m} I(y_i = k)$$

目的関数はジニ不純度や交差エントロピーなどが用いられる。

$$Gini = 1 - \sum_{k=1}^{K} p_k^2$$

回帰問題の場合、葉ノードの出力値\( c_m \)はその領域に属するデータの目的変数の平均値である。

$$c_m = \frac{1}{N_m} \sum_{i: \mathbf x_i \in R_m} y_i$$

目的関数は平均二乗誤差が用いられる。

$$MSE = \frac{1}{N_m} \sum_{i: \mathbf x_i \in R_m} (y_i - c_m)^2$$

L. Breiman, J. Friedman, R. Olshen and C. Stone. (1984). Classification and Regression Trees. Chapman and Hall/CRC. https://doi.org/10.1201/9781315139470