
๐ฟ Data/๋ถํธ์บ ํ
[TIL]1.Exploratory Data Analysis(EDA)
๋ฐ์ดํฐ์ ๋ถ๋ฌ์ค๊ธฐ import pandas as pd pd.read_csv('') ๋ฐ์ดํฐ์ ๊ฐ๋จํ๊ฒ ํ์ธ ์ฒซ๋ฒ์งธ๋ถํฐ ๋ค์ฏ๋ฒ์งธ row ํ์ธ(์ค์ ๋ฐ์ดํฐ๋ฅผ ๋๋ต ์ฒดํฌํ ๋ ์์ฃผ ์์ฃผ ์ฌ์ฉ๋จ) ๊ฑ ์๋๋๋ ์์ด ์ฌ์ฉ๋จ df.head() ๋ฐ์ดํฐ์ ๋ชจ์ ํ์ธ(df์ ํ๊ณผ ์ด ๊ฐฏ์, ๊ตฌ์กฐ๋ฅผ ๊ฐ๋จํ๊ฒ ํํ ๋ณด์ฌ์ค) df.shape EDA(Exploratory Data Analysis) ์์ฃผ ์ค์ํ ๊ฐ๋ ์ฐ ์ฐ๋ฆฌ๊ฐ ์ง์ธ์ผ๋ก๋ถํฐ ์์ ์ ๋ฌผ์ ๋ฐ์๋ค. ์ด์ ์ด๊ฑธ ์ด๋ป๊ฒ ํ ๊น. ์ช๋จน์๊น ํํด๋จน์๊น ์๋๋ฉด ํ์ด์ค๊น ๋ญ ์ด๋ป๊ฒ ํ ๊น ์์ ์ ๋ ์ ์์๊น ๋จน์ ์ ์๋ ๋ถ๋ถ์ ์๋ ์์ ์ด ๋ง๊ธด ํด? ์๋ฆฌํ๊ธฐ ์ํ ์ฌ๋ฌ ๊ฐ์ ex)์ ์ ํ๋ฉด ํ๋ ๊ฐ๋ฅํ๋ค! ์ ๊ฐ์ด ๋ฐ์ดํฐ๋ ์ด๋ฆฌ์ ๋ฆฌ ๊ฒฐ์ธก์น๋ ์๋์ง, ๋ญ ๋ฐ์ดํฐ ํฌ๊ธฐ๋ ์ด๋ค์ง, ์นผ๋ผ๋ณ๋ก..
[TIL]6.Hypothesis Test
Hypothesis Test ๊ธฐ์ ํต๊ณ์น(descriptive Statistics)๋ count, mean, standard dev, min, 1Q, median, 3Q, max ๋ฑ์ ๋ฐ์ดํฐ๋ฅผ ์ค๋ช ํ๋ ํต๊ณ์น๊ธฐ์ ํต๊ณ์น์ ์๊ฐํ Boxplot Bagplot(๊ฐ๋ฐฉ์ฒ๋ผ ์๊น, ๋ํดํด์ ์ ์ฐ์ด์ง ์๋๋ค.) Violinplot(๋ฐ์คํ๋กฏ์์ ๋ฐ์ดํฐ ๋ถํฌ๊น์ง ๋ณด์ฌ์ค๋ค. ๊ฐ์ธ์ ์ผ๋ก ๊ฐ์ฅ ๋ง์ ๋๋ ํ๋) ๊ธฐ์ ํต๊ณ์น ๋ณด๋ ์ฝ๋์ด์ธ์๋ Mode, Range, Var / SD, Kurtosis(์ฒจ๋), Skewness(์๋) ๋ฑ์ด ์๋ค๋ฆฌ~ df.describe() ์ถ๋ฆฌ ํต๊ณ์น(Inferential Statistics)๋ Population, Parameter ,Statistics, Estimator, Standard ..
[TIL]5.์ฝ๋์คํ ์ด์ธ AI ์คํ๋ฆฐํธ ์ฑ๋ฆฐ์ง
์ฝ๋์คํ ์ดํธ AI ๋ถํธ์บ ํ ์ฒซ ์คํ๋ฆฐํธ ์ฑ๋ฆฐ์ง ๋ฌธ์ ๋ ๊ณต๊ฐํ๋ฉด ์๋ ๊ฒ ๊ฐ์ ๋ค์ ๋ณต์ตํ๋ ์๋ฏธ๋ก ์์ฑ Data Preprocessing & Exploratory Data Analysis Data Preprocessing ๋ฐ์ดํฐ ๋ก๋ import pandas as pd df = pd.read_csv('') ๊ฒฐ์ธก์น ์ฌ๋ถ ์ฒดํฌ df.isna() ์ค์บํฐ ํ๋ ๊ทธ๋ฆฌ๊ธฐ df.plot.scatter('a', 'b') ์ฌ๊ธฐ์ a์ b๋ df์ ๊ฐ ์ปฌ๋ผ join data df.drop(columns='') ํด๋นํ๋ ์นผ๋ผ ๋ฒ๋ฆฌ๊ธฐ df1.merge(df2, how = '', on ='') df1์ ๊ธฐ์ค์ผ๋ก df2๋ฅผ ํฉ์น๋ค. how์๋ ํฉ์น๋ ๋ฐฉ๋ฒ(๊ตฌ๊ธ๋งํด๋ณด๊ธฐ), on์๋ ํฉ์น ๋ ๊ธฐ์ค์ด ๋๋ ์นผ๋ผ Feature Engin..
00. ๋ถํธ์บ ํ์ ๋ค์ด๊ฐ๊ธฐ์ ์์
1. ๋๊ธฐ-๋ด๊ฐ ๋ฐ์ดํฐ ์ฌ์ด์ธ์ค๋ฅผ ์์ํ ์ด์ ์ด ๋ถ์ผ๊ฐ ์์ผ๋ก ์ ๋ง ์ ๋งํ ๊ฒ์ด๊ณ ์ด ๊ณต๋ถ๋ฅผ ํ์ง ์์ผ๋ฉด ๋ฏธ๋์ ๋ด๊ฐ ํํํ ๊ฒ ๊ฐ์์ ํ๊ฐ์ง ๊ฑฑ์ ๋๋ ๊ฒ์, ๋ด๊ฐ ์ด ๋ถ์ผ๊ฐ ์๋ง๋ ์ฌ๋์ผ ์๋ ์๋ค๋ ๊ฒ๊ณผ ๋ด๊ฐ ๋์ด๊ฐ ๋ค์๋ก ์ด ๋ถ์ผ์์ ๊ฒฝ์๋ ฅ์ด ์์ด์ง ์ ์๋ค๋ ๊ฒ ๊ทธ๋ฌ๋ ์ด ๋ถ์ผ๋ ๊ฒฐ๊ตญ์ ๊ฒฝํ์ด ์์ด๋ฉด ๋ ์ ๋ฆฌํ๊ณ ๋ ์ข์ ํฌ์ง์ ์ ๊ฐ์ ธ๊ฐ ์ ์์ ๊ฒ์ด๋ค. ๋ํ, ์ด ๋ถ์ผ๋ฅผ ๊ณต๋ถํ๋ฉด ๋๋ค๋ฅธ ๋ถ์ผ์ ํ์ ์ ๊ฐ์ ธ์ฌ ์ ์์ ๊ฒ์ด๋ผ ๋ฏฟ๊ธฐ ๋๋ฌธ์. ์๋ฅผ ๋ค์ด ๋๋ ์ ์๋ก์ด ์ผ์ ํ๊ณ ์ถ๋ค๋ฉด, ์ด ๋ถ์ผ๋ฅผ ๊ณต๋ถํด์ CV ์ชฝ์ผ๋ก ๋ฒ์ฃ์๋ฅผ ์ก๋๋ฐ ML,DL์ ์ฌ์ฉํ๋ค๋ ์ง ํน์ ์ค๋งํธํ์ ๊ด์ฌ์ด ์๋ค๋ฉด ๊ทธ ์ชฝ์ ์ ์ฉํ ์ ์๋ค๋ ์ง..! ๋ญ๊ฐ ์ฌ๋์ ๋์ธ ์ ์๋ ๋ถ์ผ์ ์ ์ฉํ๊ณ ์ถ๋ค. ํนํ ์ฌํ์ ์ฝ์๋ค์๊ฒ ๋์..