[TIL] 83. Image Segmentation, Object Detection/Recognition

키워드

• Segmentation(Semantic / Instance)
• Transpose Convolution
• Object Detection/Recognition

Image Segmentation

• 하나의 이미지에서 같은 의미를 가진 물체를 단위로 구분해내는 Task

• 이미지 분류 : 이미지 자체를 하나의 label로 예측(나무 사진을 나무로 예측)
• 이미지 분할 : 이미지 내에 여러 사물들을 의미있는 단위로 구분 -> 픽셀 단위로 label 예측

[Segmentation] Semantic VS (semantic) Instance

• Semantic : 위에서와 같이 의미있는 단위로 물체를 구분 ex) 사람 -> 사람, 강아지 -> 강아지
• Semantic Instance : 각 개체 별로 구분 ex) 사람1, 사람2, 사람3 (즉, 사람이어도 다 다른 사람을 구분)

Segmentation Model

[Model] FCN(Fully Convolutional Networks)

• 이미지 분류를 위한 CCN에서 분류기 부분(완전 연결 신경망 부분)을 합성곱 층(Convolutional Layer)로 대체한 모델
• 이미지 분할 특성 상, 이미지의 픽셀 단위로 분류가 이루어지기에 픽셀의 위치 정보를 끝까지 보존해야합니다.
• 아래 그림에서 이미지의 크기가 커지는 부분이 픽셀의 위치 정보를 보존하기 위해 input과 비슷한 크기로 키워주는 과정으로 이를 Upsampling이라고 합니다.

[FCN] Upsampling

• CNN에서 Convolution과 Pooling을 통해 이미지의 특징을 추출하는 과정을 Downsampling이라고 합니다.
• 이와 반대로 FCN에서 특징 추출 후 이미지를 다시 원래 크기로 복원하는 과정을 Upsampling이라고 합니다.
• Upsampling에는 Transpose Convolution과 Unpooling과 같은 방법이 있습니다. Convolution과 Pooling의 과정을 거꾸로 합니다.

[Model] U-net

• 이미지 분할을 위한 대표적인 모델 중 하나로 End-to-End 방식의 FCN 기반 모델입니다.
• 크게 Downsampling과 Upsampling 부분으로 나뉘어집니다.
• Downsampling은 Convolution 및 Pooling 과정을 통해 이미지의 특징을 추출합니다.
• Upsampling의 경우 Convolution 및 Transpose Convolution 과정을 통해 원본과 비슷한 크기로 복원합니다.
• 또한, Downsampling 각 level에서의 output인 feature map을 적당한 크기로 만들어 같은 level에서의 Upsampling input에 concat하여 사용합니다. (skip-connetion과 같이 소실되는 정보를 어느 정도 보존해주는 역할을 합니다.)

Object Detection/Recognition

• 전체 이미지에서 레이블에 맞는 객체를 찾아내는 Task
• 객체의 경계에 Bounding Box라는 사각형 박스를 부여 후, 박스 내의 객체가 속하는 클래스를 분류합니다.

[Object Detection] IoU(Intersection over Union)

• 객체 탐지의 결과를 평가하는 지표
• $IoU = \frac{예측 영역 \cap 실제 영역}{예측 영역 \cup 실제 영역}$
• 즉, IoU가 1에 가까울수록 성능이 좋음을 뜻합니다.

[Object Detection] Model mechanism

• Two Stage Detector : 먼저 객체가 있을 만한 위치를 추천 받은 후(Region Proposal), 추천 받은 지역(Region of Interest ; RoI)에 대해 분류를 진행하는 방식, 상대적으로 시간이 오래 걸리고 비교적 성능이 좋습니다.
• One Stage Detector : 특정 지역을 추천받는 게 아닌, 입력 이미지를 grid와 같은 작은 공간으로 나눈 뒤 해당 공간을 탐색하며 분류를 진행하는 방식, 상대적으로 시간이 짧게 걸리고 비교적 성능이 떨어집니다.