๋ถ์ฉ์ด(Stop words)
- ์์ฃผ ๋ฑ์ฅํ์ง๋ง ์์ฐ์ด๋ฅผ ๋ถ์ํ๋ ๊ฒ์ ์์ด ํฐ ๋์์ด ๋์ง ์๋ ๋จ์ด
- ๊ฐ๊ณ ์๋ ๋ง๋ญ์น ๋ฐ์ดํฐ์์ ์ต๋ํ ์ ์๋ฏธํ ๋จ์ด(ํ ํฐ)๋ฅผ ์ ๋ณํ๊ธฐ ์ํด ๋ถ์ฉ์ด๋ ์ ๊ฑฐํ๋ ๊ฒ์ด ์ข์ต๋๋ค.
- I, he, her, ์กฐ์ฌ, ์ ๋ฏธ์ฌ ๊ฐ์ ๋จ์ด๋ค์ด ๋๋ถ๋ถ ๋ถ์ฉ์ด๋ก ์ฒ๋ฆฌ๋ฉ๋๋ค.
์ด๊ฐ ์ถ์ถ(Stemming)
- ๋ง๋ญ์น ๋ฐ์ดํฐ์์ ๋จ์ด๋ฅผ ์ค์ผ ์ ์๋ ์ ๊ทํ ๋ฐฉ๋ฒ ์ค ํ๋
- ๋จ์ด์์ ๊ฐ๋ ์ ์๋ฏธ๋ฅผ ๊ฐ๋ ์ด๊ฐ๋ง ์ถ์ถํ๋ ๋ฐฉ๋ฒ
- ex) analysis๊ณผ analytic -> ๋ ๋ค
๋ถ์
์ ์๋ฏธ๋ฅผ ๊ฐ๊ณ ์์ผ๋ฏ๋กanaly
๋ก ์ค์ผ ์ ์์ต๋๋ค. - ์์์ ๊ฐ์ด ์ด๊ฐ๋ง ์ถ์ถํ๋ค๋ณด๋ ์ฌ์ ์ ์๋ ๋จ์ด๊ฐ ์๊ธฐ๊ฒ ๋ฉ๋๋ค.
ํ์ ์ด ์ถ์ถ(Lemmatization)
- ๋ง์ฐฌ๊ฐ์ง๋ก ๋ง๋ญ์น ๋ฐ์ดํฐ์์ ๋จ์ด๋ฅผ ์ค์ผ ์ ์๋ ์ ๊ทํ ๋ฐฉ๋ฒ ์ค ํ๋
- ๋จ์ด๋ฅผ ๊ธฐ๋ณธ ์ฌ์ ํ์ผ๋ก ์ถ์ถํ๋ ๋ฐฉ๋ฒ
- ex) lives -> life, am -> be
- ํ์ ์ด ์ถ์ถ์ ๊ฒฝ์ฐ์๋ ์ฌ์ ์ ์๋ ๋จ์ด๊ฐ ์๊ฒจ๋๊ธฐ๋ ํฉ๋๋ค.
Bag-of-Words
- ํ์ ๊ธฐ๋ฐ์ ๋จ์ด ํํ ์ค ํ๋๋ก ์ค๋ก์ง ๋จ์ด์ ๋น๋์๋ง ๊ณ ๋ คํฉ๋๋ค.
- ๋ง์น ๊ฐ๋ฐฉ์ ๋จ์ด๋ค์ ๋ฃ๊ณ ์์์ผ๋ก์จ ์์๋ ๊ณ ๋ คํ์ง ์๋๋ค๋ ์๋ฏธ๋ก Bag์ด๋ ํํ์ ์ฌ์ฉํฉ๋๋ค.
๊ณผ์
- ๋ฌธ์ ๋ด์ ๊ฐ ๋จ์ด์ ๊ณ ์ ํ ์ ์ ์ธ๋ฑ์ค๊ฐ์ ๋ถ์ฌํฉ๋๋ค.
- ๊ฐ ๋จ์ด ํ ํฐ์ ๋ฑ์ฅ ํ์๋ฅผ ํด๋น ํ ํฐ์ ์ธ๋ฑ์ค ์์น์ ํด๋นํ๋ ๋ฒกํฐ๋ฅผ ์์ฑํฉ๋๋ค.
TF-IDF
- ๋จ์ด์ ๋น๋(Term Frequency ; TF)์ ์ญ ๋ฌธ์ ๋น๋(Inverse Document Frequency ; IDF)๋ฅผ ๊ณฑํ ๋ฐฉ๋ฒ์ ๋๋ค.
- ๊ฐ ๋จ์ด๋ค๋ง๋ค ์ค์ํ ์ ๋๋ฅผ ๊ฐ์ค์น๋ก ์ฃผ๋ ๋ฐฉ๋ฒ์ ๋๋ค.
๊ณผ์
- TF :
ํน์ ๋ฌธ์์์ ํน์ ๋จ์ด์ ๋ฑ์ฅ ํ์
- IDF
- DF :
ํน์ ๋จ์ด๊ฐ ๋ฑ์ฅํ ํน์ ๋ฌธ์์ ์
- IDF : DF์ ๋ฐ๋น๋กํ๋ ๊ฐ์ผ๋ก, log( n / (1 + df)) ๋ก ๋ํ๋ผ ์ ์์ต๋๋ค. (n : ์ด ๋ฌธ์ ์)
- ์ฌ๊ธฐ์ log๋ฅผ ์ทจํ๋ ์ด์ ๋ log๋ฅผ ์ทจํ์ง ์์ ๋, ํฌ๊ท ๋จ์ด(๋ฑ์ฅํ๋ ๋ฌธ์๊ฐ ๋ช๊ฐ ์๋ ๋จ์ด)์ ๊ฐ์ค์น๊ฐ ๊ธฐํ๊ธ์์ ์ผ๋ก ์ปค์ง๊ณ ์ด๋ ๊ณง ๋งค์ฐ ํฐ ๊ฐ์ค์น๋ก ์์ฉํ๊ธฐ ๋๋ฌธ์ ์ค์ผ์ผ์ ์ค์ฌ์ฃผ๋ ์ฉ๋๋ก ์ฌ์ฉ๋ฉ๋๋ค.
- DF :
TF-IDF ๊ฐ์ ํน์ ๋ฌธ์์์ ๋ฑ์ฅํ๋ ์ ๋
์ ๋น๋กํ๊ณ ํน์ ๋จ์ด๊ฐ ๋ฑ์ฅํ๋ ๋ฌธ์ ์
์๋ ๋ฐ๋น๋กํฉ๋๋ค.
์ฆ, ํน์ ๋ฌธ์์์ ์์ฃผ ๋ฑ์ฅํ๋ ๊ฒ์ ์ค์๋๊ฐ ๋๋ค๊ณ ํ๋จํ๊ณ ์ฌ๋ฌ ๋ฌธ์์์ ๋ฑ์ฅํ๋ ๊ฒฝ์ฐ์๋ ์ค์๋๊ฐ ๋ฎ๋ค๊ณ ํ๋จํ๋ ๊ฐ๋
์
๋๋ค.
์ด์์ ๋๋ค. ๊ฐ์ฌํฉ๋๋ค. :)