[TIL]12.Linear Algebra +

목표

• 공분산, 상관계수의 공통점 및 차이점
• 벡터의 직교 그리고 그 조건
• 단위 벡터, 단위 벡터로의 구분
• span, basis, rank의 개념 이해
• 가우시안 소거법(Gaussian elemination) 이해
• linear projection에 대한 이해

Variancce(분산)

• 각 값들의 평균으로부터의 차이의 제곱 평균
• 데이터가 평균으로부터 얼마나 퍼져있는가
• 모집단의 분산을 구할 땐 ddof=0, 표본집단의 분산을 구할 땐 ddof=1 (ddof 란 delta degrees of freedom으로 자유도에서 얼마나 빼야하는가를 의미) 즉, 모집단의 분산은 n으로 나누고 표본집단의 분산은 n-1 로 나눈다.

Covariance(공분산)

• 1개의 변수가 변화할 때, 다른 변수는 어떠한 연관성을 보이며 변하는지 측정한 것

공분산 이해

• 공분산의 값이 크다는 것은 두 변수 간의 연관성이 크다는 것을 뜻함
• 다만, 변수들의 스케일이 다르다면(단위가 다르다면) 실제 변수 자체의 기준 없이 그저 스케일이 큰 변수들은 큰 값을 나타내게 된다.
  해서 이를 조절해줘야함(표준화)

df.cov() # 공분산 계산 방법-1
np.cov(s1, s2) # 공분산 계산 방법-2

Correlation coefficient(상관계수)

• 공분산의 스케일을 조정하기 위해 두 변수의 표준편차로 나누어준 값
• 상관계수는 -1에서 1 사이의 값을 가지므로 그 값에 대한 상대적인 기준이 잡힘
• 0에 가까울수록 아무 상관도 없다는 이야기

\begin{align}
cor(X,Y) = r = \frac{cov(X,Y)}{\sigma_{X}\sigma_{Y}}
\end{align}

df.corr() # 상관계수 계산 방법-1
np.corrcoef(s1,s2) # 상관계수 계산 방법-2

Spearman correlation

• 위에서 배운 상관계수는 Pearson correlation
  데이터로부터 분산과 같은 통계치를 계산할 수 있을 때 사용 가능
• 데이터가 numeric이 아니라 categorical 이라면 값들에 대한 순서에 숫자를 부여하고 상관관계를 측정
  이게 spearman correlation coefficvient(일단 개념만 알아두자)

Orthogonality(수직성)

• 벡터 혹은 매트릭스가 서로 수직으로 있는 상태

좌표상에 있는 거의 모든 벡터는 다른 벡터와 양/음으로 상관관계가 아주 조금이라도 있다.
단, 수직인 벡터만 온전히 상관 자체가 없다. (Cov=0)
내적값이 0 이면 수직

단위 벡터(Unit vectors)

• 단위길이가 1인 모든 벡터(크기가 1인 벡터)
  ex) 1차원(R) 단위 벡터 i_hat = [1]
  2차원(R^2) 단위 벡터 i_hat = [1 0], j_hat = [0 1]
  3차원(R^3) 단위 벡터 i_hat = [1 0 0], j_hat = [0 1 0], k_hat = [0 0 1]

Span

• 주어진 두 벡터의 조합(합 또는 차)로 만들 수 있는 모든 가능한 벡터의 집합(공간)

선형 관계의 벡터(Linearly Dependent Vectors)

• 두 벡터가 같은 선상에 있는 경우로 서로 상수배가 된다. => 같은 정보를 담고 있는 벡터
• 이 두 벡터로는 외부의 새로운 벡터를 형성할 수 없다.

비선형 관계의 벡터(Linearly Independent Vectors)

• 같은 선상에 있지 않은 두 벡터로 서로 독립되어있다. => 서로 다른 정보를 담고 있다.
• 두 벡터의 조합을 통해 다른 벡터들도 만들어낼 수 있다.

Basis

• V라는 공간을 채울 수 있는 선형 관계에 있지 않은 벡터들(위의 Span 개념을 관점을 뒤집은 것)Orthogonal Basis
• basis 들 중에서도 서로 수직인 조합(아무래도 상관관계가 0이니, 서로 불필요하게 정보가 안겹친다.)Orthonormal Basis
• basis 들 중에서도 서로 수직이면서 동시에 크기(길이)가 1인 벡터(단위 벡터)

Rank

• 매트릭스의 rank란 매트릭스의 열을 구성하는 벡터들로 만들 수 있는 span(공간)의 차원 => 결국엔 매트릭스 안에 있는 벡터로 표현할 수 있는 공간의 차원(span이랑 같은 개념)
• 단, 매트릭스의 차원이 2x2라고 해서 무조건 rank=2 인 것은 아님(매트릭스를 구성하는 두 벡터가 선형관계면 rank=1)

Gaussian Elimination(가우시안 소거법)

• 주어진 매트릭스 내의 벡터 조합을 함으로써 하나의 벡터를 0의 값만 갖게 만드는 형태
• 만약 하나의 벡터가 0만 갖는 게 가능하다면, 이는 매트릭스 내의 벡터들의 조합으로 표현이 된다는 의미이므로 rank 가 1개 줄어든다.

Linear projections(R^2 ;2차원 공간에서)

projection 하는 것과 위의 내용들을 잘 생각해보자
결국 projection을 한다는 것은 선형 독립이던 두 벡터를 선형 종속으로 바꾸는 과정이다.
아주 같진 않더라도 두 벡터(매트릭스에서 칼럼)가 얼추 매우 비슷한 정보를 담고 있다면 굳이 이 2가지를 가져갈 필요가 없어지는 것
물론 약간의 정보 손실이 있긴 하지만 차원 자체가 하나가 줄어드는 것으로 계산 시 메모리 등에는 이득이 생긴다.

즉, '차원 축소'를 할 때 사용되는 개념이다.