💿 Data/이모저모

Hypothesis Test(가설검정)

T-test를 사용할 수 있는 상황에 대해 설명하고, 그 상황에서 어떻게 가설을 세우는지 T-test의 전체적인 예시를 하나 설명해주세요. 어떠한 가설을 세웠는지 왜 이러한 가설을 세우게 되었는지 왜 T-test를 선택했는지 NBA와 NBA G(마이너리그)의 농구선수들의 키를 비교해보고싶습니다. 귀무가설(H0) : NBA 메이저 리그 선수들의 키와 마이너 리그 선수들의 키 평균은 차이가 없다. 대립가설(H1) : NBA 메이저 리그 선수들의 키와 마이너 리그 선수들의 키 평균은 차이가 있다. 일단 키 자체는 정규분포를 따르고, 농구선수들의 키에 따른 영향을 비교해보고싶었습니다. 보기의 상황을 읽고, A/B Test에 대해서 생각해 보세요. 💡 보기) 여러분은 그로스 해킹팀의 DA로 취직하였습니다. 만약 ..

Basic Derivative(추가)

단순선형회귀를 이용하여 Binary Classification Prediction을 하고자 한다면, 단순선형라인에 어떠한 변화를 주면 될까요? Binary classification pred를 한다는 말은, 즉 결과값이 0과 1로 구분되는 것에 대한 분류 예측을 하는 것 그러나 단순선형회귀 $$y=wx+b$$ 는 우리가 원하는 예측값이 실수이기 때문에 종속변수의 범위가 실수, 그러나 우리가 원하는 종속변수는 binary한 0과 1이다. 이 때, 우리는 활성화 함수로 Logistic Regression을 사용해야한다. 이렇게 되면 $$wx+b$$에 대해서 0과 1 사이에서 값이 나온다. 이 때, 값이 0.5보다 크면 1, 작으면 0으로 보내는 것으로 binary 분류가 가능하다. sigmoid 함수와 Ch..

EDA(Exploratory Confirmatory Analysis; 탐색적 자료 분석)

다음 링크는 다양한 시각화 방법들이 나와있는 Seaborn과 Matplotlib 의 공식문서입니다. 링크 속의 시각화 방법 중 하나를 선택하여, 고른 이유와 해당 시각화 방법의 장점을 소개해 주세요. 저는 seaborn의 violinplot을 선택했습니다! 먼저 violinplot은 boxplot과 동일하게 일변량, 연속형 데이터의 분포를 설명하기 위한 그래프입니다. 내용 자체는 boxplot과 같으나 커널 밀도 곡선을 더해, 카테고리값에 따른 각 분포의 실제 데이터 또는 전체 형상을 보여준다는 장점이 있습니다. 확증적 데이터 분석(CDA: Confirmatory Data Analysis)과 탐색적 자료 분석(EDA: Exploratory Data Analysis)의 차이점을 설명하고,각각 어떤 경우에 ..

PCA(Principal Component Analysis)

PCA(Principal Component Analysis); 주성분 분석 고차원의 데이터를 저차원의 데이터로 환원시키는 기법을 말한다. 데이터의 구조를 유지하면서 차원을 축소하는 방법 분포된 데이터들의 주성분을 찾는 방법으로 위 그림처럼 데이터가 2차원 좌표평면에 n개의 점들로 분포되어 있을 때, 데이터들의 분포 특성을 가장 잘 설명해주는 벡터를 찾는 것이다. 먼저 데이터들의 분산(흩어진 정도)이 가장 큰 방향벡터인 e1을 설정하고 e1과 수직이면서 데이터의 분산을 가장 잘 나타내는 벡터(e2)를 찾는다. 주성분 벡터 e1, e2을 이용해서 타원형의 데이터들을 표현할 수 있게 된다. 예를 들어, 성적 데이터가 '국어', '영어', '수학', '과학'이 있을 때, (국어, 영어)를 문과 계통, (수학, ..

KNN(K-Nearest Neighbors)

K-Nearest Neighbors : input feature에 대해 최근접 k개의 데이터의 f(x)값을 다수결 형식으로 따라가는 방식 Nonparametric approach(비모수 접근) - 데이터가 특정 분포를 따른다고 가정하지 않는다. - train data가 많을수록 파라미터의 갯수도 많아진다. (모수 접근과 다르게 파라미터의 갯수가 한정되지 않는다.) Classification : 임의의 k에 대해 input feature 최근접 k개의 데이터 label을 따라 다수결로 결정 Regression : 마찬가지로 최근접 k개의 데이터 값에 대한 평균 혹은 linear regression Curse of Dimensionality(차원의 저주) : 데이터의 차원이 커질수록 모델의 성능이 급격하게 ..