Jayden`s

Scree Plot 활용법

"Scree Plot" 에 대해서 알아보고, 위에서 PCA로 만든 데이터셋을 사용하여 만들어보세요. 90%의 내용을 설명하기 위해서, 몇개의 PC를 사용해야 하나요? 위의 여러 과정은 생략하겠습니다. :) 먼저 각 주성분에 대한 아이겐벨류값을 모두 더하고 나눠, 각각의 proportion을 계산합니다. values = values / np.sum(values) # 위 의 값을 시각화 plt.title('Scree plot') plt.xlabel('numberofcomp') plt.ylabel('proposion') plt.plot(values); 각각의 고유값의 비중을 계산해봅니다. print(values[:2].sum()) print(values[:3].sum..

[TIL]14.Clustering(군집화)

목표 Scree plot의 의미 Supervised learning(지도학습)과 Unsupervised learning(비지도학습)에 대한 이해(차이에 대한 이해) Kmeans clustering에 대한 이해 Scree Plot Machine Learning 지도 학습(Supervised learning) 트레이닝 데이터에 라벨(답)이 있을 때 사용한다. 분류(Classification) 분류 알고리즘은 주어진 데이터의 카테고리 혹은 클래스 예측을 위해 사용 회귀(Regression ; prediction) 회귀 알고리즘은 continuous한 데이터를 바탕으로 결과를 예측하기 위해 사용 비지도 학습(Unsupervised learning) 라벨링이 되어있지않은 경우 사용, 데이터의 특성을 토대로 알아서..

Dendrogram을 통한 Clustering 시각화 및 Elbow Method

1. 정규화부터!(각 변수의 기준을 맞추기 위해 정규화 작업을 해줬습니다.) from sklearn.preprocessing import StandardScaler scaler = StandardScaler() Z = scaler.fit_transform(df) Z 2-1. Hierarchical Clustering 및 Dendrogram을 통한 시각화 import numpy as np from matplotlib import pyplot as plt from scipy.cluster.hierarchy import linkage, dendrogram from sklearn.cluster import AgglomerativeClustering Z = linkage(Z, method='ward&#39..

Clustering(군집화)

Machine Learning에서 Supervised Learning / Unsupervised Learning / Reinforce Learning 3가지의 차이는 무엇일까?(예시도 함께!) 먼저 Machine Learning(기계 학습)이란 인공지능의 하위 집합으로 컴퓨터가 데이터를 통해 학습하고 경험을 통해 개선하도록 학습시키는 것을 말한다. 머신러닝에서 알고리즘은 대규모 데이터에서 패턴과 상관관계 등의 분석을 토대로 최적의 의사결정과 예측을 수행하는 것에 초점을 맞춘다. Supervised Learning(지도학습) : 정답이 있는 데이터를 활용해 데이터를 학습시키는 방법. 입력값이 주어지면 입력값에 대한 Label도 주어 학습시키는 것으로 그 종류에는 분류, 회귀 등이 있다. 예시) 강아지 사진..

[TIL]13.High Dimensional Data

목표 Vector Transformation 이해 Eigenvector / Eigenvalue에 대한 이해 데이터의 feature 수(차원 수)가 늘어나면 생기는 문제점 및 이를 handling하기 위한 방법 PCA의 기본 원리와 목적에 대한 이해 Vector transformation R^2 공간에서 벡터를 변환 즉, 선형 변환은 임의의 두 벡터를 더하거나 혹은 스칼라값을 곱하는 것 $$T(u+v)=T(u)+T(v)$$ $$T(cu)=cT(u)$$ 벡터변환으로서의 '매트릭스와 벡터의 곱' f라는 transformation을 사용하여 임의의 벡터 [x1, x2]에 대해 [2x1 + x2, x1 - 3x2]로 변환을 한다. \begin{align} f(\begin{bmatrix}x_1 \\ x_2 \end..