💿 Data/부트캠프

[TIL]13.High Dimensional Data

목표 Vector Transformation 이해 Eigenvector / Eigenvalue에 대한 이해 데이터의 feature 수(차원 수)가 늘어나면 생기는 문제점 및 이를 handling하기 위한 방법 PCA의 기본 원리와 목적에 대한 이해 Vector transformation R^2 공간에서 벡터를 변환 즉, 선형 변환은 임의의 두 벡터를 더하거나 혹은 스칼라값을 곱하는 것 $$T(u+v)=T(u)+T(v)$$ $$T(cu)=cT(u)$$ 벡터변환으로서의 '매트릭스와 벡터의 곱' f라는 transformation을 사용하여 임의의 벡터 [x1, x2]에 대해 [2x1 + x2, x1 - 3x2]로 변환을 한다. \begin{align} f(\begin{bmatrix}x_1 \\ x_2 \end..

[TIL]12.Linear Algebra +

목표 공분산, 상관계수의 공통점 및 차이점 벡터의 직교 그리고 그 조건 단위 벡터, 단위 벡터로의 구분 span, basis, rank의 개념 이해 가우시안 소거법(Gaussian elemination) 이해 linear projection에 대한 이해 Variancce(분산) 각 값들의 평균으로부터의 차이의 제곱 평균 데이터가 평균으로부터 얼마나 퍼져있는가 모집단의 분산을 구할 땐 ddof=0, 표본집단의 분산을 구할 땐 ddof=1 (ddof 란 delta degrees of freedom으로 자유도에서 얼마나 빼야하는가를 의미) 즉, 모집단의 분산은 n으로 나누고 표본집단의 분산은 n-1 로 나눈다. Covariance(공분산) 1개의 변수가 변화할 때, 다른 변수는 어떠한 연관성을 보이며 변하는지..

[TIL]11.Vector and Matrix

목표 데이터사이언스와 선형대수 벡터에 대한 기본 계산 매트릭스에 대한 기본 계산 단위행렬같은 특별한 매트릭스를 이해하고, 행렬식(determinant)나 역행렬(inverse)를 계산 Numpy를 사용하여 기본 선형대수 계산 개요 위의 내용은 linear regression으로 풀 수 있다. numpy, pandas, scikitlearn 등과 같은 라이브러리를 통해 계산할 수 있다. 그렇다면 과연 데이터를 어떻게 python에서 표현하고, 저장하고, 계산할 것인가 Data Structure(데이터를 담는 구조) 1D(1-dimension) 벡터 데이터의 순서(order)는 유지되어야한다. list가 대표적이며 순서가 상관없는 경우는 set가 있다. 2D(2-dimension) 매트릭스 우리가 자주 쓰는..

[TIL]10.스프린트 챌린지

데이터를 정리하는 것 특히 datetime 데이터를 다루는 게 아직 익숙치 않았다. 가설 검정하는 파트가 생각보다 내가 그 검정을 디자인하는 게 어렵다. 왜 도메인 지식이 중요하다고 하는지 알 것도 같았다. 어느정도 도메인이 있어야 가설 검정을 할 때도 뭐랑 뭐에 대해 어떻게 가설 검정할지 감이 올듯하다. 시각화하는 파트를 보완해야겠다. seaborn에서 melt 데이터를 이용하는 것 이제 melt에 대해서 어느정도 알겠다. 천천히 배워나가면 된다. 할 수 있다.

[TIL]9.Bayesian Inference

목표 조건부 확률에 대한 이해 베이지안 통계의 개념 베이지안의 핵심은 '기존 가설'에 '새로운 정보'를 토대로 '업데이트' 한다는 점 몬티홀 문 3개 뒤에 염소 2마리, 차 1대. 선택 후 답을 알고 있는 진행자가 나머지 2개 중 1개의 뒤에 염소가 있음을 보여줌 이후 선택을 바꿀 것인지 말것인지. 당연히 바꾸는 게 개이득 총 확률의 법칙(The Law of Total Probability) A라는 특정 확률 변수에 대해, 모든 가능한 이벤트의 총 확률은 1이다. $$P(A)=∑P(An)=1$$ 조건부 확률(The Law of Cinditional Probability) 다른 이벤트가 일어난 상황에서의 확률 $$P(A|B) = {P(A∩B) \over P(B)}$$ 전체 사각형이 모든 가능한 확률 공간이..