💿 Data/이모저모

Linear Algebra + (Cov ;공분산, Cor ; 상관계수)

titanic 데이터에 대한 상관계수를 표현한 heatmap heatmap을 통해 확인할 수 있는 데이터 간의 관계는 무엇인가? titanic data안에 있는 칼럼(feature) 별로 양/음/무 상관관계에 대해서 알 수 있다. 예를 들어 'survived'와 'adult_male'의 상관계수는 -0.56 단순하게 이 수치만 놓고 보면 '생존 여부와 성인 어른 여부가 음의 상관관계' 즉, 성인 남성이 더 생존율이 낮았다는 이야기 여기서 한 번 더 해석하면 성인 남성들이 다른 사람들의 생존을 돕다가 희생됐다 는 등의 해석이 가능 공분산과 상관계수의 수식을 확인하고 그 둘의 연관성 및 차이점 연관성(공통점) : 공분산과 상관계수 모두 특정 벡터(혹은 칼럼, 열, ..

Verctor, Matrix, DataFrame

Vector, Matrix와 DataFrame의 차이점은 무엇일까? Vector : 1차원 데이터 구조 Matrix : 2차원 데이터 구조, 데이터 타입이 모두 동일해야한다. (칼럼 하나를 벡터라 보면 벡터의 나열)import numpy as np np.matrix() # 넘파이 안에 있다. DataFrame : 2차원 데이터 구조, 칼럼마다 데이터 타입이 다를 수 있다. (마찬가지로, 칼럼 하나를 벡터라 보면 벡터의 나열)import pandas as pd pd.DataFrame() # 판다스 안에 있다. 보기의 그림은 이미지 혹은 텍스트를 벡터화하는 과정입니다. 이처럼 벡터화를 진행하는 이유가 무엇일까? 이미지를 벡터화하는 과정(Computer Vision; 컴퓨터 비전) 텍스트를 벡터화하는 과정(N..

Bayesian Statistics(베이즈주의) vs Frequentist statistics(빈도주의)

- Bayesian statistics와 Frequentist statistics의 차이점에 대해 생각해보고, 데이터 분석 시 언제, 어느 것을 사용해야 효율적인지 논해보세요. 1. 베이즈주의 조건부 확률을 이용하여 $$ P(A|B) = P(B|A) * P(A) / P(B) $$ 여기서 A를 H(가설), B를 새로운 데이터 D라고 가정 $$ P(H|D) = P(D|B) * P(H) / P(E) $$ 와 같은 식이 나온다. 여기서 $$P(H)$$ 는 사전확률로 D라는 데이터를 알기 전 가설에 대한 확률값(흔히 통념적으로 적용되는 값) $$P(D|H)$$는 가능도(Likelihood ; 우도)로 해석하자면 '어떤 가설 H가 맞다고 가정했을 때, 데이터 D가 나올 확률'입니다. 즉, 우리가 사전..

ANOVA 예시

- Anova test를 사용할 수 있는 상황에 대해 설명하고, 그 상황에서 어떻게 가설을 세우는지 Anova test의 전체적인 예시를 하나 설명해주세요.** (아래 사항은 필수적으로 들어가야 합니다.) 어떠한 가설을 세웠는지 왜 이러한 가설을 세우게 되었는지 왜 anova test를 선택했는지 증권사 앱 메뉴의 새로운 시안을 두고 청년층/중년층/장년층 을 나누어 이용 고객 수 변화를 보고 싶을 때 사용할 수 있을 것 같습니다. 점차 증권사의 상품과 수수료 등은 비슷해져가는 때에 사람들이 증권사를 선택하는 중요한 기준이 MTS의 디자인이라 생각합니다. 이 때, 각 증권사 별로 주 고객의 연령층을 타겟팅하고(경제적인 소득과 연령층은 필연적으로 상관관계가 있기 때문에 그에 맞는 디자인 시안 유효성을 검증할..

Hypothesis Test(가설 검정) 2

chi-squre test를 사용할 수 있는 상황에 대해 설명하고, 그 상황에서 어떻게 가설을 세우는지 chi-square test의 전체적인 예시를 하나 설명해주세요. (아래 사항은 필수적으로 들어가야 합니다.) 귀무가설 : 연령과 코로나 감염 여부는 독립적이다. 대립가설 : 연령과 코로나 감염 여부는 독립적이지 않다. 어떠한 가설을 세웠는지 왜 이러한 가설을 세우게 되었는지 왜 chi-square test 를 선택했는지 (+ 사전 검증은 이루어 졌는지?) 코로나 이후, 언론에서 나이대 별 감염에 대한 이야기를 많이 했기 때문입니다.(사실일지 궁금) 단순한 2-sample 카이제곱 검정으로 선택하였습니다. 정규성(정규분포)을 확인하는 것이 왜 중요할까요? 자유롭게 논의해주세요! 정규분포라는 것 자체가 ..