KNN(K-Nearest Neighbors)

K-Nearest Neighbors : input feature에 대해 최근접 k개의 데이터의 f(x)값을 다수결 형식으로 따라가는 방식

• Nonparametric approach(비모수 접근)

   - 데이터가 특정 분포를 따른다고 가정하지 않는다.

   - train data가 많을수록 파라미터의 갯수도 많아진다. (모수 접근과 다르게 파라미터의 갯수가 한정되지 않는다.)

• Classification : 임의의 k에 대해 input feature 최근접  k개의 데이터 label을 따라 다수결로 결정
• Regression : 마찬가지로 최근접 k개의 데이터 값에 대한 평균 혹은 linear regression
• Curse of Dimensionality(차원의 저주) : 데이터의 차원이 커질수록 모델의 성능이 급격하게 저하되는 현상

   - 차원이 증가하면, 데이터가 차지할 수 있는 공간이 커진다. 그러나 그만큼 데이터 갯수는 부족하다면 데이터의 밀도

     는 감소하게 된다. 즉, 차원이 커질수록/학습 데이터가 적을수록 모델 성능이 저하된다.

 

k에 대해서

• k 값이 너무 작으면,

   - 분류 기준이 too much strict가 된다.

   - train set에서의 오차는 감소하지만 test set에서는 오차가 매우 커진다.

   - 즉, Overfitting된 모델

• k 값이 너무 크면,

   - 분류 기준이 too much general하게 된다.

   - test set에 대한 정확도가 낮을 수 있다.

   - 즉, Underfitting된 모델

출처 : https://leonard92.tistory.com/12

+ k값은 일반적으로 홀수를 사용한다.(짝수일 때, 다수결이 동점이 되어 결과를 도출할 수 없을 수 있기 때문)

 

*파라미터와 하이퍼 파라미터의 차이

• 파라미터 : 데이터를 통해 구해지는 값들 ex)평균, 표준편차 등등
• 하이퍼 파라미터 : 모델링할 때 사용자가 직접 세팅해주는 값 ex)KNN에서의 k값

내용 참고

https://bkshin.tistory.com/entry/%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D-6-K-%EC%B5%9C%EA%B7%BC%EC%A0%91%EC%9D%B4%EC%9B%83KNN

머신러닝 - 6. K-최근접 이웃(KNN)

https://process-mining.tistory.com/131

Parametric model과 Non-parametric model

https://89douner.tistory.com/31

7. Curse of Dimension, Reduction of input dimension (차원의저주)

https://leonard92.tistory.com/12

[KNN] 3. Hyperparameters (하이퍼파라미터) in KNN