PCA(Principal Component Analysis)

PCA(Principal Component Analysis); 주성분 분석

고차원의 데이터를 저차원의 데이터로 환원시키는 기법을 말한다.

데이터의 구조를 유지하면서 차원을 축소하는 방법

 

출처 : https://darkpgmr.tistory.com/110

분포된 데이터들의 주성분을 찾는 방법으로 위 그림처럼 데이터가 2차원 좌표평면에 n개의 점들로 분포되어 

있을 때, 데이터들의 분포 특성을 가장 잘 설명해주는 벡터를 찾는 것이다.

먼저 데이터들의 분산(흩어진 정도)이 가장 큰 방향벡터인 e1을 설정하고 e1과 수직이면서 데이터의 분산을

가장 잘 나타내는 벡터(e2)를 찾는다.

주성분 벡터 e1, e2을 이용해서 타원형의 데이터들을 표현할 수 있게 된다.

 

예를 들어, 성적 데이터가 '국어', '영어', '수학', '과학'이 있을 때,

(국어, 영어)를 문과 계통, (수학, 과학)을 이과 계통으로 나눈다 해보자.

만약 국어와 영어가 비슷한 계통으로 다음과 같은 상관관계를 가질 때

하나를 알면 다른 하나도 따라오는 경우, 알 필요가 없다. -> 이럴 때 차원 축소

출처 : https://wiserloner.tistory.com/1297

우리는 이 둘이 대략적으로 양의 관계에 있음을(즉, 국어 점수가 높으면 영어도 높음) 알 수 있다.

그러면 이 데이터들을 정사영했을 때 가장 분산이 큰 축을 찾아서 그 축을 하나의 주성분으로 사용할 수 있는 것

어떤 축에 대해 정사영 시켰을 때, 분산이 크다는 의미는 각 데이터들이 최대한 겹치지 않고 표현되었다는 의미

따라서 정사영 후의 분산이 큰 축을 찾는 것이 좋다. 그 값이 첫번째 성분이 된다.

 

그렇다면 수학적으로 그 축을 어떻게 찾을 수 있을까?

출처 : 멋쟁이 사자처럼

새로운 좌표축 w에 대한 새로운 좌표들 (w^T)X의 variance를 표현하면 아래와 같다. 

출처 : 멋쟁이 사자처럼

variance를 최대로 하는 고윳값(고유벡터)가 첫번째 주성분이 되며

첫번째 주성분과 수직이면서 동시에 다음으로 큰 고유 벡터에 해당하는 것이 두번째 주성분이 된다.

(이런 식으로 n-th principal component를 둘 수 있다.)

 

그렇다면 이런 고유벡터 즉, 주성분은 몇개를 두는 게 좋을까?

출처 : 멋쟁이 사자처럼

위와 같이, 전체 주성분 중 특정 주성분이 차지하는 비율(즉, 데이터를 설명하는 지분)을 나타낸다.

팔꿈치가 꺾이듯이 주성분의 설명률이 급격하게 작아지는 부분을 기준으로 정하며

보통 2~3개가 적당하다. 

애초에 차원을 줄이는 개념이라, 주성분을 너무 많이 두면 PCA의 의미가 없어지고

그렇다고 차원을 너무 줄이게 되면 정보의 손실이 너무 크게 된다.

 

즉, 정보는 유지하되(데이터를 설명할 수 있는 구조는 유지하되) 차원을 줄이는 것이 핵심

 

*PCA의 한계점

- 데이터의 분산을 유지하는 것에 초점이 맞춰져있기 때문에 분류에는 큰 도움이 안될 수 있다.

(데이터가 퍼져있는 형태가 유지되기에 분류에 있어 기존과 큰 차이가 없음)

- 데이터의 분포가 정규분포 형태가 아니라면 적용하기 어렵다.

(어떤 축에도 분산 구조가 뚜렷하게 나오지않는다면 주성분을 구성하기 어려워짐)

 

참고

https://wiserloner.tistory.com/1297

공분산 행렬과 주성분 분석(PCA)

https://darkpgmr.tistory.com/110

[선형대수학 #6] 주성분분석(PCA)의 이해와 활용