Dimension Reduction(차원 축소)

1. 'Dimension이 커진다.'의 의미는 무엇일까요?

   차원이 늘어난다. -> 변수가 늘어난다. -> matrix(혹은 dataframe)에서 열(칼럼)의 수가 늘어난다.

• 차원 축소(Dimensionality Reduction)를 하는 이유

  효율성이 떨어지는 변수를 줄이기 위해서(input 대비 output이 좋지 못한 경우 ; 설명력이 떨어지는 경우)

2. Dimension이 커졌을 때 어떤 문제가 발생할까?

   단순하게 생각하면, 인간이 이해하기(비슷하게 다른 의미로는 시각화하기) 어려워진다. 즉, 직관적으로 이해가 되지 않는다는 것
   또한, 설명력이 높은 차원(변수, 칼럼)들만 있다면 큰 문제가 아닐 수 있지만 설명력이 떨어지는 차원의 경우 쓸데없이 컴퓨터 계산 과정이나 메모리만 낭비하는 꼴이 될 수 있다. 덤으로 원하는 아웃풋을 내기에 방해가 될 수 있다.
   해결 방법으로는 차원을 줄이는 방법이 있으며 변수 선택(단순히 설명력 좋은 변수들만 뽑아내는 방법 ;feature selection)과 변수 추출(변수들의 조합을 통해 새로운 설명력이 좋은 변수를 만듦으로써 차원을 줄이는 방법 ;feature extraction)이 있다.

3. PCA(주성분 분석 ; Principal Component Analysis)는 위의 차원 축소 방법들 중 어디에 속하나?

   PCA는 기존 변수(칼럼)들을 가장 효율적으로 설명하는 변수들을 만들어내는 방법(정보의 손실을 최소화하면서 좋은 결과값을 내도록 projection)으로 변수 추출에 속한다.

• 변수 선택의 예시에는 어떤 게 있을까?

  .Filtering, Wrapper, Embedding 등이 있다. 특히, Embedding은 이름, 성별 등과 같은 이산변수를 연속적인 벡터로 바꾸어 저차원으로 만드는 과정이다.