【scikit-learn】単回帰分析の実装と評価

import pandas as pd
import numpy as np
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error
import matplotlib.pyplot as plt

# 説明変数（特徴量）の作成
data = pd.DataFrame({
    'X': np.random.randint(0, 100, size=100) # 説明変数（特徴量）
})

# 目的変数の作成
data['y'] = data['X'] + np.random.normal(0, 5, size=100)

# 説明変数と目的変数の分割
X = data[['X']]
y = data['y']

# 70%を学習用、30%を検証用データにするよう分割
X_train, X_test, y_train, y_test = train_test_split(X, y,test_size = 0.3, random_state = 666)

# LinearRegressionモデルの作成とトレーニング
model = LinearRegression()
model.fit(X_train, y_train)

# 回帰直線の描画
plt.scatter(X, y, color='blue', label='Actual')
plt.plot(X_train, model.predict(X_train), color='red', label='Regression Line')
plt.xlabel('X')
plt.ylabel('y')
plt.legend()
plt.show()

# 作成したモデルから予測（学習用、検証用モデル使用）
y_train_pred = model.predict(X_train)
y_test_pred = model.predict(X_test)

# 単回帰の回帰係数と切片を出力
print('回帰係数: %.3f, 切片 : %.3f' % (model.coef_, model.intercept_))

# 学習用、検証用データに関して平均二乗誤差を出力
print('MSE Train : %.3f, Test : %.3f' % (mean_squared_error(y_train, y_train_pred), mean_squared_error(y_test, y_test_pred)))

# 学習用、検証用データに関してR^2を出力
print('R^2 Train : %.3f, Test : %.3f' % (model.score(X_train, y_train), model.score(X_test, y_test)))

# 学習用、検証用それぞれで残差をプロット
plt.scatter(y_train_pred, y_train_pred - y_train, marker = 'o', label = 'Train Data')
plt.scatter(y_test_pred, y_test_pred - y_test, marker = 's', label = 'Test Data')
plt.xlabel('Predicted Values')
plt.ylabel('Residuals')
plt.legend(loc = 'upper left')
# y = 0に直線を引く
plt.hlines(y = 0, xmin = -10, xmax = 110, lw = 2, color = 'red')
plt.xlim([0, 100])
plt.show()

# 70%を学習用、30%を検証用データにするよう分割
X_train, X_test, y_train, y_test = train_test_split(X, y,test_size = 0.3, random_state = 666)

# LinearRegressionモデルの作成とトレーニング
model = LinearRegression()
model.fit(X_train, y_train)

# 回帰直線の描画
plt.scatter(X, y, color='blue', label='Actual')
plt.plot(X_train, model.predict(X_train), color='red', label='Regression Line')
plt.xlabel('X')
plt.ylabel('y')
plt.legend()
plt.show()

# 単回帰の回帰係数と切片を出力
print('回帰係数: %.3f, 切片 : %.3f' % (model.coef_, model.intercept_))

# 学習用、検証用データに関して平均二乗誤差を出力
print('MSE Train : %.3f, Test : %.3f' % (mean_squared_error(y_train, y_train_pred), mean_squared_error(y_test, y_test_pred)))

# 学習用、検証用データに関してR^2を出力
print('R^2 Train : %.3f, Test : %.3f' % (model.score(X_train, y_train), model.score(X_test, y_test)))

# 学習用、検証用それぞれで残差をプロット
plt.scatter(y_train_pred, y_train_pred - y_train, marker = 'o', label = 'Train Data')
plt.scatter(y_test_pred, y_test_pred - y_test, marker = 's', label = 'Test Data')
plt.xlabel('Predicted Values')
plt.ylabel('Residuals')
plt.legend(loc = 'upper left')
# y = 0に直線を引く
plt.hlines(y = 0, xmin = -10, xmax = 110, lw = 2, color = 'red')
plt.xlim([0, 100])
plt.show()