Jayden`s
[TIL]5.์ฝ๋์คํ ์ด์ธ AI ์คํ๋ฆฐํธ ์ฑ๋ฆฐ์ง
์ฝ๋์คํ ์ดํธ AI ๋ถํธ์บ ํ ์ฒซ ์คํ๋ฆฐํธ ์ฑ๋ฆฐ์ง ๋ฌธ์ ๋ ๊ณต๊ฐํ๋ฉด ์๋ ๊ฒ ๊ฐ์ ๋ค์ ๋ณต์ตํ๋ ์๋ฏธ๋ก ์์ฑ Data Preprocessing & Exploratory Data Analysis Data Preprocessing ๋ฐ์ดํฐ ๋ก๋ import pandas as pd df = pd.read_csv('') ๊ฒฐ์ธก์น ์ฌ๋ถ ์ฒดํฌ df.isna() ์ค์บํฐ ํ๋ ๊ทธ๋ฆฌ๊ธฐ df.plot.scatter('a', 'b') ์ฌ๊ธฐ์ a์ b๋ df์ ๊ฐ ์ปฌ๋ผ join data df.drop(columns='') ํด๋นํ๋ ์นผ๋ผ ๋ฒ๋ฆฌ๊ธฐ df1.merge(df2, how = '', on ='') df1์ ๊ธฐ์ค์ผ๋ก df2๋ฅผ ํฉ์น๋ค. how์๋ ํฉ์น๋ ๋ฐฉ๋ฒ(๊ตฌ๊ธ๋งํด๋ณด๊ธฐ), on์๋ ํฉ์น ๋ ๊ธฐ์ค์ด ๋๋ ์นผ๋ผ Feature Engin..
'21.11.17(์)_๋งค์ผ ๊ฒฝ์
# ๋ฐ์ด๋ , ์์งํ ์ฒซ ์ ์ํ๋ด - ๋ฐ์ด๋ '๋๋ง ๋ ๋ฆฝ ์ง์ง ์ํด' ์์งํ์ ์ ํ ์์ง ## ๋ค๋ง, ๋ฏธ๊ตญ : ๋๋ง ์ํฉ ๋ฐ๊พธ๋ผ๋ ์ผ๋ฐฉ์ ๋ ธ๋ ฅ์ ๋ฐ๋, ์ค๊ตญ : ๋๋ง ๋ ๋ฆฝ์ธ๋ ฅ ๋ ๋๋ผ์ธ ๋์ผ๋ฉด ๋จํธํ ์กฐ์น ### ๊ทธ๋๋ ์ฝ 3์๊ฐ์ ์ฒซ ์ ์ํ๋ด์์ ๋ฏธ๊ตญ๊ณผ ์ค๊ตญ์ ๊ด๊ณ๊ฐ ์ํ๋๋ ๋๋..? ๋ค๋ง, ๋ฏธ๊ตญ๊ณผ ์ค๊ตญ ๋ชจ๋ ์๋ฏผํ ์ฌ์์ ๊ฒ๋๊ณ ํฌ๊ฒํฌ๊ฒ ์ฐ๋ฆฌ ์๋ก ๋คํฌ์ง ๋ง์ ๊ทธ๋ฌ๋ฉด ์ฐ๋ฆฌ ์ํด๋ค ์ด๋ฐ ๋๋์ด๋ผ์ ์์ฃผ ํฐ ์๋ฏธ๊ฐ ์์์๊น ์๊ฐํ๋ค. ํํธ์ผ๋ก ๊ฒฐ๊ตญ ์ ์น๋ผ๋ ๊ฒ ๊ทธ๋ฐ๊ฑด๊ฐ ์ถ๊ธฐ๋ ํ๊ณ ...... ๋จ์ํ ํ์ ํ ๋ฒ์ผ๋ก ๋ชจ๋ ๋ฌธ์ ๋ค์ ๋ํ ์๊ฒฌ์ด ์ ๋ฌ๋๊ณ ์์ ๋๋ ๊ฑด ๋ง์ด ์๋๋๊น ์กฐ๊ธ์ฉ ์กฐ๊ธ์ฉ ๋ฐ๋๋ ๊ฒ ์๋๊น ์ถ๋ค. # ํ๊ตญ์์ฅ ๋ ๋๋ ์ธ๊ตญ๊ณ ์ํ ## ์ง๋์น ์ ๋ถ๊ท์ , ๋ ธ๋์์ฅ ๊ฒฝ์ง, ๋ฎ์ ์์ต์ฑ, ๋ฎ์ ..
'21.11.16(ํ)_๋งค์ผ ๊ฒฝ์
# ์ํํธ ์ ์ธ์ง์ 1๋ ์ฌ์ด 11% ์ฌ๋ผ ## ์๋ '11.19 ์ ์ธ๋์ฑ '์ด ์ํ๋์ง 1๋ ... ### ์ฌ์ ํ ๊ตญ๋ด ์ํํธ ๋ฌธ์ ์์ฒด๊ฐ ํซํ ๊ฑฐ ๊ฐ๋ค. ์ด์ ์๋ ๋งค๋งค๊ฐ๊ฐ ๋๋ฌด ์์นํด์ ๋ถ๋ด์ด์๋๋ฐ, ํ์ฌ ๋งค๋งค ์์ฅ์ ์ผ์ด๋ถ์๊ณ ์คํ๋ ค ์ ์ธ๊ฐ๊ฐ ๊ณ์ ์ค๋ฅด๊ณ ์๋ค. ๋๊ตฐ๋ค๋ ๋ถ๋์ฐ๊ด๋ จ ๊ท์ ๊ฐ ๋ ์๊ฒฉํด์ง๋ฉด์ ์ง์ฃผ์ธ๋ค์ด ์ ์ธ๋ฅผ ๋ด๋๊ธฐ๋ณด๋ค ์ค๊ฑฐ์ฃผํ๋ ๊ฒฝ์ฐ๊ฐ ์๊ธฐ๋ฉด์ ์คํ๋ ค ์ ์ธ ์์ฅ ์์ฒด๋ ๋ ๊ฐ๊ฒฉ์ด ์ค๋ฅด๋ ์ค...... ์ด๋ ต๋ค # ํ์ ์งํค๋ ค ์ด์กํ๋ซํผ ํด์ถํ์ง๋ง, ์์ด๋ฌ๋ํ๊ฒ ๊ธฐ์ฌ๋ค์ '๋ฐฐ๋ฏผ์ผ๋ก ์ ์ง' ## ์๋ ์ฝ๋ก๋๋ก ๋จ๊ณ์ ํ๋ณต ์ํํ์ ์ฌ์ผ ํ์ ์์ ๊ธ์ฆ ๊ทธ๋ฌ๋ ํ์ ๊ธฐ์ฌ๋ค์ด ๋ชจ์๋ ํ์ค ### ๊ทธ ๋์ ์ด์ก์ ๊ณ์์ ์ ๋ถ๋ ๋๋ถ๋ถ ํ์ ์ ๊ณ์ ํธ์ ๋ค์ด์ฃผ์๋ค๊ณ ํ๋ค. (์ ์น์ ์ธ ๋ฌธ์ ๋ ์๊ณ ๋ฑ๋ฑ)..

PCA(Principal Component Analysis)
PCA(Principal Component Analysis); ์ฃผ์ฑ๋ถ ๋ถ์ ๊ณ ์ฐจ์์ ๋ฐ์ดํฐ๋ฅผ ์ ์ฐจ์์ ๋ฐ์ดํฐ๋ก ํ์์ํค๋ ๊ธฐ๋ฒ์ ๋งํ๋ค. ๋ฐ์ดํฐ์ ๊ตฌ์กฐ๋ฅผ ์ ์งํ๋ฉด์ ์ฐจ์์ ์ถ์ํ๋ ๋ฐฉ๋ฒ ๋ถํฌ๋ ๋ฐ์ดํฐ๋ค์ ์ฃผ์ฑ๋ถ์ ์ฐพ๋ ๋ฐฉ๋ฒ์ผ๋ก ์ ๊ทธ๋ฆผ์ฒ๋ผ ๋ฐ์ดํฐ๊ฐ 2์ฐจ์ ์ขํํ๋ฉด์ n๊ฐ์ ์ ๋ค๋ก ๋ถํฌ๋์ด ์์ ๋, ๋ฐ์ดํฐ๋ค์ ๋ถํฌ ํน์ฑ์ ๊ฐ์ฅ ์ ์ค๋ช ํด์ฃผ๋ ๋ฒกํฐ๋ฅผ ์ฐพ๋ ๊ฒ์ด๋ค. ๋จผ์ ๋ฐ์ดํฐ๋ค์ ๋ถ์ฐ(ํฉ์ด์ง ์ ๋)์ด ๊ฐ์ฅ ํฐ ๋ฐฉํฅ๋ฒกํฐ์ธ e1์ ์ค์ ํ๊ณ e1๊ณผ ์์ง์ด๋ฉด์ ๋ฐ์ดํฐ์ ๋ถ์ฐ์ ๊ฐ์ฅ ์ ๋ํ๋ด๋ ๋ฒกํฐ(e2)๋ฅผ ์ฐพ๋๋ค. ์ฃผ์ฑ๋ถ ๋ฒกํฐ e1, e2์ ์ด์ฉํด์ ํ์ํ์ ๋ฐ์ดํฐ๋ค์ ํํํ ์ ์๊ฒ ๋๋ค. ์๋ฅผ ๋ค์ด, ์ฑ์ ๋ฐ์ดํฐ๊ฐ '๊ตญ์ด', '์์ด', '์ํ', '๊ณผํ'์ด ์์ ๋, (๊ตญ์ด, ์์ด)๋ฅผ ๋ฌธ๊ณผ ๊ณํต, (์ํ, ..
00. ๋ถํธ์บ ํ์ ๋ค์ด๊ฐ๊ธฐ์ ์์
1. ๋๊ธฐ-๋ด๊ฐ ๋ฐ์ดํฐ ์ฌ์ด์ธ์ค๋ฅผ ์์ํ ์ด์ ์ด ๋ถ์ผ๊ฐ ์์ผ๋ก ์ ๋ง ์ ๋งํ ๊ฒ์ด๊ณ ์ด ๊ณต๋ถ๋ฅผ ํ์ง ์์ผ๋ฉด ๋ฏธ๋์ ๋ด๊ฐ ํํํ ๊ฒ ๊ฐ์์ ํ๊ฐ์ง ๊ฑฑ์ ๋๋ ๊ฒ์, ๋ด๊ฐ ์ด ๋ถ์ผ๊ฐ ์๋ง๋ ์ฌ๋์ผ ์๋ ์๋ค๋ ๊ฒ๊ณผ ๋ด๊ฐ ๋์ด๊ฐ ๋ค์๋ก ์ด ๋ถ์ผ์์ ๊ฒฝ์๋ ฅ์ด ์์ด์ง ์ ์๋ค๋ ๊ฒ ๊ทธ๋ฌ๋ ์ด ๋ถ์ผ๋ ๊ฒฐ๊ตญ์ ๊ฒฝํ์ด ์์ด๋ฉด ๋ ์ ๋ฆฌํ๊ณ ๋ ์ข์ ํฌ์ง์ ์ ๊ฐ์ ธ๊ฐ ์ ์์ ๊ฒ์ด๋ค. ๋ํ, ์ด ๋ถ์ผ๋ฅผ ๊ณต๋ถํ๋ฉด ๋๋ค๋ฅธ ๋ถ์ผ์ ํ์ ์ ๊ฐ์ ธ์ฌ ์ ์์ ๊ฒ์ด๋ผ ๋ฏฟ๊ธฐ ๋๋ฌธ์. ์๋ฅผ ๋ค์ด ๋๋ ์ ์๋ก์ด ์ผ์ ํ๊ณ ์ถ๋ค๋ฉด, ์ด ๋ถ์ผ๋ฅผ ๊ณต๋ถํด์ CV ์ชฝ์ผ๋ก ๋ฒ์ฃ์๋ฅผ ์ก๋๋ฐ ML,DL์ ์ฌ์ฉํ๋ค๋ ์ง ํน์ ์ค๋งํธํ์ ๊ด์ฌ์ด ์๋ค๋ฉด ๊ทธ ์ชฝ์ ์ ์ฉํ ์ ์๋ค๋ ์ง..! ๋ญ๊ฐ ์ฌ๋์ ๋์ธ ์ ์๋ ๋ถ์ผ์ ์ ์ฉํ๊ณ ์ถ๋ค. ํนํ ์ฌํ์ ์ฝ์๋ค์๊ฒ ๋์..