Simple Linear Regression(단순선형회귀)

1. 단순선형회귀모델을 만들기 위해 전제되어야 하는 조건들에 대해 찾아보시고 논해보세요.

1. 두 변수가 선형관계에 있어야 합니다.
2. 표본 추출이 무작위로 이뤄져야 합니다.
3. 직선을 그리기 위해 최소 2개 이상의 데이터가 있어야합니다.
4. 주어진 X값에서 오차의 평균은 0을 만족합니다.(Zero-conditional mean)
5. 주어진 X값에서 오차들은 정규분포를 이뤄야 합니다.(Normality ; 정규성)
6. 주어진 X값에서 오차들이 같은 정도로 퍼져 있어야 합니다.(homoscedasticity ; 등분산성)
7. 주어진 X값에서 오차항들끼리는 독립이어야 합니다.(Independence ; 독립성)

위의 전제를 조금 더 자세히 살펴보자면

위와 같은 그림에서 모든 점을 지나는 직선을 그을 수는 없지만 어떤 직선을 기준으로 데이터들이 분산되어있다고 생각할 수 있습니다.(통계적인 시각)

위와 같이 Y를 표현할 수 있습니다. 여기서 ε은 4~7번의 오차에 해당하며, 평균이 0이고 표준편차가 σ인 정규분포를 따릅니다. 즉, 다시 말해 고정된 변수 X에 대해서 Y의 값은 확정적인 값이 아닌 확률적인 값(확률변수)라는 의미입니다. 위 식의 양변에 평균을 취하면

과 같은 식이 됩니다. (β0 와 β1X는 상수값, ε의 평균은 0이기 때문)

정리하면, 우리가 예측하려는 값은 엄밀히 따지면 Y가 아닌 E(Y)가 됩니다.
(Y의 경우, 평균이 'β0 + β1Xi'이고 표준편차는 σ인 분포를 따릅니다.)
아래 그림을 보시면 더 이해가 편하실겁니다!(각 X 값에 대해 Y값들이 정규분포를 이루고 있는 모습)

2. OLS에 대해서 검색해 보고 본인의 이해를 녹여내어 본인의 언어로 설명해보세요.

예측값과 관측값의 차이인 잔차를 최소화하기 위한 것으로 이 때 회귀선은 잔차제곱값들의 합(RSS)를 최소화하는 선입니다. 이 회귀선을 찾는 방법을 OLS(Ordinary Least Squares)라고 합니다. cf)1번에서의 '오차'와 2번에서의 '잔차'는 다른 개념입니다.