Jayden`s

[TIL]48_DataBase, SQL_Basics(SQLite)

데이터베이스 IN-Memory : 프로그램이 실행될 때에만 존재하는 데이터 ex) 파이썬에서 변수 저장, 리스트 저장 등 File I/O : 파일을 읽어오는 방식으로 엑셀 시트, CSV와 같은 형태 파일을 매번 읽어와야하므로 번거롭다. 또한 파일 크기가 커질수록 작업이 버거워진다. 파일이 손상되거나 여러 개의 파일들을 동시에 다뤄야하거나 하는 등 복잡하고 데이터량이 많아질수록 점점 힘들어짐 데이터베이스(관계형) : 하나의 csv 파일이나 엑셀 시트를 한 개의 '테이블(엔티티)'로 저장할 수 있음 한번에 여러 개의 테이블을 가질 수 있기 때문에 데이터를 가져오기 수월 또한 애초에 엑셀 시트, CSV 파일 등 특정 형태의 파일들은 대용량의 데이터를 저장하기 위한 목적이 아님 SQL(Struct..

[TIL]47_Git&Github and conda(가상환경)

터미널과 CLI 터미널 : 명령을 전달할 수 있는 어플리케이션 CLI : 글자 기반으로 명령을 전달할 수 있는 인터페이스(옛날엔 마우스 없이 키보드로만 컴퓨터를 다뤘다.) GUI : 그래픽 기반으로 명령을 전달할 수 있는 인터페이스(우리가 마우스 사용하는 것도 GUI) CLI가 중요한 이유 엔지니어링을 위한 개발 도구의 환경은 주로 CLI를 기반으로 만들어졌음 CLI의 Top5 기본 명령어 $ pwd : 현재 경로를 나타내는 명령어입니다. $ mkdir {폴더명}: 폴더(디렉토리)를 생성하는 명령어입니다. $ cd {폴더명} : 폴더에 들어가는 명령어입니다. $ ls : 현재 디렉토리 안에 파일 및 폴더 목록을 출력합니다. $ ls -l : 상세정보 출력 $ ls -a : 숨긴 파일까지 표시 $ ls -..

[TIL]46_Section1_review_마무리

Section1_sprint3 키워드 위주로 정리 set : list와 비슷, 단 중복치 허용 x 순서 개념 x Determinant 모집단 : population -> parameter 표본집단 : sample -> statistic Covariance(공분산) Correlation coefficient(상관계수) : 공분산을 스케일링한 것 보통 우리가 아는 상관계수가 Pearson Corr이고 categorical data에 순서를 부여하고 이를 토대로 corr을 구하는 게 Spearman Corr -> 데이터가 갖는 값이 아닌 우리가 부여한 '순서 혹은 순위'로만 상관계수를 따진다. 단위벡터 : 길이가 1인 벡터 Span : 주어진 벡터의 조합으로 만들 수 있는 모든 가능한 벡터의 집..

[TIL]45.8_Section1_sprint2_개인복습(주말)

Section1_sprint2(중요하게 개념 잡고가야할 통계 파트) 기술 통계 : 평균, 분산, 표준편차 등등 수집한 데이터를 설명 및 묘사하는 통계 추리 통계 : 수집한 데이터를 바탕으로 추론/예측하는 통계 ex) 설문조사를 통한 득표율 예측 샘플링 방식 여러가지 가설 검정 : 주어진 상황에 대해 하고자하는 주장이 맞는지 아닌지 판정하는 과정 모집단에 대한 표본집단의 통계치가 유의한지 아닌지 여부 결정 Student T-test One sample T-test귀무가설(H0) : 표본집단의 평균 = 어떤 특정 값 대립가설(H1) : 표본집단의 평균 != 어떤 특정 값 from scipy.stats import ttest_1samp p-value : 주어진 가설에 대해 '얼마나 근거가 있는지'를 나타낸 값..

[TIL]45.3_Section2_sprint3_개인복습(주말)

데이터 실무 프로세스 비즈니스 문제 발견 데이터 발견 및 문제 발견 데이터 문제 해결 비즈니스 문제 해결 데이터 누수(Data Leakage) 타겟 외에, 예측 시점 때 사용 혹은 알 수 없는 데이터가 포함된 경우 훈련데이터와 검증데이터를 완전히 분리하지 못한 경우(검증시 누수 발생) 회귀문제 타겟 분포 right skewed : log 변환 left skewed : exp 변환 현실 데이터는 대부분이 right skewed 이다. 데이터 wrangling merge와 groupby 가지고 놀 수 있게 잘 사용하자 특성 중요도 계산 방법 Tree 기반에서 주어지는 MDI(불순도 감소 기준) importances Drop column importance Permutation importance 부스팅 하이..