[TIL]23.Simple Regression(단순회귀)

선형회귀

목적

• 선형회귀모델 이해
• 지도학습(Supervised Learning) 이해
• 회귀모델에 대한 기준모델을 설정
• Scikit-learn을 이용한 선형 회귀 모델

주택 판매 가격 예측

import pandas as pd
# 주어진 url 주소를 이용해 house prices 데이터를 가져옵니다.
df = pd.read_csv('https://ds-lecture-data.s3.ap-northeast-2.amazonaws.com/house-prices/house_prices_train.csv')
df_t = pd.read_csv('https://ds-lecture-data.s3.ap-northeast-2.amazonaws.com/house-prices/house_prices_test.csv')

df는 train set으로 우리가 예측하고자 하는 값(라벨, 정답, 예측값)이 주어져있다.(예시에선 'SalePrice')
df_t는 test set으로 우리가 예측하고자 하는 값은 주어져있지 않다.
추가, 우리가 보는 테이블 형태의 데이터를 'tabular data'라고 합니다.

주택 판매 가격을 예측하려고 할 때 다음과 같은 방법을 사용할 수 있습니다.

1. 기존 경험을 바탕으로 예측

• 우리가 흔히 하는 어림짐작. 좋은 결과를 낼 수도 있지만 편견이 존재하며 오류에 빠질 위험이 높습니다.

2. 통계 정보를 활용

• min, max, mean, median, describe
• 확률밀도함수와 평균, 중위값을 같이 비교

import matplotlib.pyplot as plt
import seaborn as sns

## SalePrice의 확률밀도함수를 그려보겠습니다
sns.displot(df['SalePrice'], kde=True)

## 평균과, 중간값으로 수직선을 그려보겠습니다.
plt.axvline(df['SalePrice'].mean(), color='blue')
plt.axvline(df['SalePrice'].median(), color='red'); # 

기준모델(Baseline Model)

예측 모델을 구체적으로 만들기 전에 가장 간단하면서도, 직관적이고 최소한의 성능을 나타내는 모델

• 분류 : 타겟의 최빈 클래스
• 회귀 : 타겟의 평균값
• 시계열회귀 : 이전 타임스탬프의 값

아래는 평균을 기준으로 사용하는 경우(평균기준모델)

predict = df['SalePrice'].mean()
errors = predict - df['SalePrice']
mean_absolute_error = errors.abs().mean() # MAE(평균절대오차) error의 절대값 평균

x = df['GrLivArea']
y = df['SalePrice']

sns.lineplot(x=x, y=predict, color='red')
sns.scatterplot(x=x, y=y, color='blue');

단, 이런 기준 모델은 에러가 상당히 크다는 것을 확인할 수 있음

• Pairplot 예시

sns.set(style='whitegrid', context='notebook')
cols = ['GrLivArea', 'LotArea','SalePrice']
sns.pairplot(df[cols], height=2);

3. 예측모델(Predictive Model) 활용

• scatterplot에 가장 잘 맞는 직선을 그려주면 그것이 회귀 예측모델

회귀분석에서 중요한 개념 : '예측값'과 '잔차(residual)'
-> 예측값 : 모델이 추정하는 값, 잔차 : 예측값과 관측값 차이 cf)오차(error)는 모집단에서의 예측값과 관측값 차이
회귀선은 잔차 제곱들의 합인 'RSS(Residual Sum of Squares); SSE(Sum of Square Error)라고도 함'를 최소화하는 직선.
이 값이 회귀모델의 비용함수(Cost Function) 즉, 머신러닝에서의 학습은 비용함수를 최소화하는 모델을 찾는 과정

$${\displaystyle \operatorname {RSS} =\sum _{i=1}^{n}(\varepsilon _{i})^{2}=\sum _{i=1}^{n}(y_{i}-f(x_{i}))^{2}=\sum _{i=1}^{n}(y_{i}-(\alpha x_{i} + \beta))^{2}}$$

여기서 계수 α와 β는 RSS를 최소화 하는 값으로 모델 학습을 통해서 얻어지는 값
이렇게 잔차제곱합을 최소화하는 방법을 최소제곱회귀(Ordinary Least Squares ; OLS)라고 한다.

$$\beta =\displaystyle {\bar {y}}-\alpha{\bar {x}}$$

$$\alpha ={\frac {S_{xy}}{S_{xx}}}$$

$${\displaystyle \operatorname {RSS} =\sum _{i=1}^{n}(\varepsilon _{i})^{2}=\sum _{i=1}^{n}(y_{i}-f(x_{i}))^{2}=\sum _{i=1}^{n}(y_{i}-(\alpha x_{i} + \beta))^{2}}$$

위와 같이, 최소제곱법으로 선형 회귀계수를 쉽게 구할 수 있다.

• Seaborn regplot으로 그려보기

sns.regplot(x=df['GrLivArea'], y=df['SalePrice']);

• 보간(interpolate) : 주어진 값 내에서 비어있는 독립변수에 대한 예측값을 구하는 것
• 외삽(extrapolate) : 주어진 값을 넘어서는 독립변수에 대한 예측값을 구하는 것

종속변수 : 반응변수(Response), 레이블(Label ; 라벨), 타겟(Target) 등으로 불림
독립변수 : 예측변수(Predictor), 설명(Explanatory), 특성(Feature) 등으로 불림

Scikit-learn(sklearn)을 사용한 선형회귀모델

• scikit-learn : 머신러닝 모델을 만드는데 가장 많이 사용되는 라이브러리

• scikit-learn을 활용해 모델을 만들고 데이터를 분석하기 위해서는 위와 같은 데이터 구조를 사용

특성 데이터와 타겟 데이터를 나눔
특성행렬은 주로 X(대문자)로 표현하고 보통 2차원 행렬, 주로 Numpy 행렬이나 Pandas DataFrame
타겟배열은 주로 y(소문자)로 표현하고 보통 1차원 형태, 주로 Numpy 배열이나 Pandas Series

• scikit-learn에는 수많은 머신러닝 모델이 구현되어 있음

1. 주어진 문제를 풀기에 적합한 모델을 선택, 클래스를 찾아본 후 관련 속성이나 하이퍼파라미터를 확인
2. 문제에 따라 차이가 있지만, 위와 비슷하게 데이터를 준비
3. fit 메소드를 사용하여 모델을 학습
4. 'predict()' method를 사용하여 새로운 데이터를 예측

참고
Basics of the API

단순선형회귀(Simple Linear Regression)

## Scikit-Learn 라이브러리에서 사용할 예측모델 클래스를 Import 합니다
from sklearn.linear_model import LinearRegression

## 예측모델 인스턴스를 만듭니다
model = LinearRegression()

## X 특성들의 테이블과, y 타겟 벡터를 만듭니다
feature = ['GrLivArea']
target = ['SalePrice']
X_train = df[feature] # X는 대문자인 이유 -> 행렬형태이기때문
y_train = df[target] # y는 소문자인 이유 -> 벡터형태이기 때문

## 모델을 학습(fit)합니다
model.fit(X_train, y_train)

## 전체 테스트 데이터를 모델을 통해 예측해 봅니다.
X_test = [[x] for x in df_t['GrLivArea']]
y_pred = model.predict(X_test)

## train 데이터에 대한 그래프를 그려보겠습니다.
plt.scatter(X_train, y_train, color='black', linewidth=1)

## test 데이터에 대한 예측을 파란색 점으로 나타내 보겠습니다.
plt.scatter(X_test, y_pred, color='blue', linewidth=1);

아래와 같은 순서

참고
다이어그램

일반 프로그래밍 vs 머신러닝

• 일반 프로그래밍 : 데이터를 입력하고 어떤 룰에 따라 정답을 구함
• 머신러닝 : 데이터와 정답을 입력하고 룰을 찾아냄

참고
인공지능, 머신러닝, 딥러닝

선형회귀모델 계수(Coefficients)

## 계수(coefficient)
model.coef_

## 절편(intercept)
model.intercept_