Data Wrangling

Data Wrangling

의미

• raw data를 더 손쉽게 사용 가능한 형태로 바꾸는 모든 과정을 의미합니다.(Data cleaning, Data remediation, Data munging 이라고 불리기도 합니다.)

구성(단계)

1. Discovery(발견)

• 데이터에 대해 친숙해지는 단계로, EDA 단계와 같이 데이터의 특성, 통계치 등을 살펴보며 방향을 잡는 단계입니다.

2. Structuring(구조화)

• 일반적인 raw data는 바로 사용하기 힘들기 때문에 각각의 raw data를 적절하게 조합하여 원하는 데이터프레임을 얻는 단계입니다.
• 오늘 저희가 배운 merge, groupby 등을 이용한 특성 생성 및 정리가 이 단계에 해당합니다.

3. Cleaning(청소)

• 데이터 분석에 있어 영향을 주는 오류를 제거하는 단계로, 이상치/결측치 제거 및 중복값 제거 등이 해당됩니다.

4. Enriching(보강, 증강)

• 3번까지의 과정 이후, 프로젝트에 사용될 모든 데이터가 준비되었는지 판단하는 단계입니다. 더 필요하거나 보강해야하는 데이터가
  있다면 데이터를 추가하고 이전 과정을 반복합니다.

5. Validating(검증)

• 데이터의 일관성, 품질을 판단하고 검증하는 단계입니다. 데이터의 형식 확인, 데이터 철자, 오타 검사 등도 해당됩니다. 특성 간의 값
  비교 또한 해당됩니다. 예시로 '배달 시작 시각' 특성의 숫자가 '배달 도착 시각' 특성의 숫자보다 큰 경우 등이 있습니다.

6. Publishing(퍼블리싱)

• 모든 처리가 끝나고 데이터를 사용해도 되는 단계입니다. 모델에 학습시키는 것, 다른 부서에 전달하는 용도 등 '데이터를 이대로
  사용해도 문제가 없음'을 인정받은 단계입니다.

중요도

• 비즈니스에서 수행되어지는 모든 분석은 궁극적으로 제공되는 데이터에 의해 좌우됩니다. 데이터가 불완전하거나, 신뢰할 수 없거나
  결함이 있는 경우, 인사이트의 가치가 떨어지게 됩니다.
• Data Wrangling은 중요한 요소이지만, 수행 시 많은 시간과 자원이 소모되는 점도 유의해야합니다. 그렇기 때문에 많은 기업들에서
  Data Wrangling에 대한 프로세스를 간소화하는 정책 및 사례를 도입하고 있습니다.

추가사항

• Data gathering 또한 Wrangling의 첫번째 단계로 구분하기도 합니다. 조금씩 프로젝트를 위한 데이터 서칭을 하면서 다양한 데이터를
  얻을 수 있고 모으는 방법들(웹스크래핑 등)을 배우고싶다는 생각이 드는 것 같습니다.

이상입니다. 감사합니다. :)

참고1: Data Wrangling
참고2: Data Gathering
참고3: Data Wrangling and Gathering