[TIL]14.Clustering(군집화)

목표

• Scree plot의 의미
• Supervised learning(지도학습)과 Unsupervised learning(비지도학습)에 대한 이해(차이에 대한 이해)
• Kmeans clustering에 대한 이해

Scree Plot

Machine Learning

지도 학습(Supervised learning)

트레이닝 데이터에 라벨(답)이 있을 때 사용한다.

• 분류(Classification)
  분류 알고리즘은 주어진 데이터의 카테고리 혹은 클래스 예측을 위해 사용

• 회귀(Regression ; prediction)
  회귀 알고리즘은 continuous한 데이터를 바탕으로 결과를 예측하기 위해 사용

비지도 학습(Unsupervised learning)

라벨링이 되어있지않은 경우 사용, 데이터의 특성을 토대로 알아서 라벨링

• 군집화(Clustering)
  데이터의 feature들의 연관성을 바탕으로 유사한 그룹을 생성한다.

강화 학습(Reinforcement learning)

머신러닝의 한 형태로, 기계가 잘한 행동에 대해서는 보상(막 무슨 선물을 받는 게 아니라, 더 잘 맞춘 파라미터에 가중치를 주는 형식)/ 그렇지 않은 행동에는 처벌(파라미터에 대한 가중치 낮추기)과 같은 피드백을 통해서 행동에 대해 학습해 나가는 방법

이 외에도 정말 다양한 머신러닝 알고리즘이 있다.

Clustering(군집화)에 대해 좀더 자세히 알아보자!

목적

• 주어진 데이터들이 얼마나, 어떻게 유사한지
• 주어진 데이터셋을 요약/정리하는데 있어서 매우 효율적인 방법
• 하지만 정답을 보장하지 않는다는 이슈로 실제 예측을 위한 모델링에 쓰이기보다는 EDA를 위한 방법으로 많이 쓰인다.(데이터셋을 요약 혹은 시각화) 또는, 지도학습을 하기 위해 labeling을 할 때도 사용한다.

종류

Hierarchical(계층적으로, 단계적으로)

• Agglomerative : 개별 포인트에서 시작 후 점점 크게 합쳐간다.(작은 단위부터 시작해서 점점 뭉친다.)
• Divisive : 1개의 큰 cluster에서 점점 작은 cluster로 나누어져 간다.(큰 단위에서 점점 쪼갠다.)

Point Assignment(클러스터 수를 정하고 하나씩 클러스터에 포인트)

• 시작 시, 군집 개수를 정하고 군집에 데이터들을 하나씩 배정한다.

군집화 : Hard vs Soft
Hard : 데이터가 하나의 군집에만 할당되는 것
Soft : 데이터가 여러 군집에 동시 할당 가능
사실상 군집화는 보통 Hard 를 의미한다.

TIp
PCA와 Clustering은 반드시 연계해서 사용할 필요는 없으나 PCA로 전처리(변수를 줄이고)하고 군집화를 통해 분류해서 시각화한다.

K-Means Clustering

위의 'point assignment' 방식 중 하나로, k는 '군집화 개수', means는 '기준 점을 잡는 방법, 즉 평균을 통해서 기준 잡음'

과정

1. k개의 랜덤한 데이터를 군집의 중심점으로 설정
2. 해당 군집 근처에 있는 데이터를 군집으로 할당
3. 변경된 군집에 대해서 중심점을 새로 계산
4. 군집에 유의미한 변화가 있을 때까지 2-3을 반복한다.

군집화 진행하고 중심점 잡는 python 코드는 따로 참고하기

Scikitlearn을 통한 K-means

간단 예시

from sklearn.cluster import KMeans 
kmeans = KMeans(n_clusters = 3)
kmeans.fit(df)
labels = kmeans.labels_

print(labels)

K-means에서 K를 결정하는 방법

• The Eyeball Method(눈대중) : 사람의 주관적인 판단을 통해 임의로 지정(어느정도 데이터에 대한 도메인 지식이 필요)
• Metrics(측정) : 어느정도 객관적인 지표를 설정하여 최적화된 K를 선택 ex) Elbow method

Elbow method

간단 예시

sum_of_squared_distances = []
K = range(1, 15)
for k in K:
    km = KMeans(n_clusters = k)
    km = km.fit(df)
    sum_of_squared_distances.append(km.inertia_)

plt.plot(K, sum_of_squared_distances, 'bx-')
plt.xlabel('k')
plt.ylabel('Sum_of_squared_distances')
plt.title('Elbow Method For Optimal k')
plt.show()

대충 k=3 부터 큰 차이가 없기 때문에 k=3으로 판단할 수 있다.

완벽한 알고리즘은 없다.

• K-Means 말고도 굉장히 많은 군집화 알고리즘들이 있으며 각자 풀고자 하는 문제에 대해 최적화 되어있다.

1. 문제 해결을 위한 여러 방법이 있지만 각각 장단점이 있다. 따라서 더 많은, 다양한 방법들을 시도해보고 다양한 문제에 답을 줄 수 있도록 계속 공부해야한다.
2. 다양한 방법들을 선택하는 최선의 기준은 데이터의 특성이다. 즉, 데이터에 대한 이해(도메인 지식)이 있으면, 더 필요하고 효율적인 방법을 적용할 수 있다.