[TIL] 85. GAN(Generative Adversarial Networks)

키워드

• GAN(Generative Adversarial Networks)
• Generator
• Discriminator

GAN(Generative Adversarial Networks ; 생성적 적대 신경망)

• 실제와 유사한 데이터를 만들어내는 생성모델
• 생성자(Generator) : 실제와 동일한(유사한) 데이터를 만들기 위해 학습 -> 비지도학습
• 판별자(Discriminator) : 생성자가 만든 데이터를 진짜인지 가짜인지 더 잘 분류하기위해 학습 -> 지도학습(이진분류)
• 즉, 마치 위조지폐를 만드는 범죄자(생성자)와 위조지폐를 분별하는 사람(판별자)가 서로 경쟁하며 점차 성능이 좋아지고 결국엔 진짜와 가짜를 구분하기 어려울 정도로 위조지폐가 만들어지는 것과 같은 원리
• 아래 이미지가 위의 내용을 도식화한 이미지로, 이 과정 1번이 1epoch가 됩니다.
• 처음 생성자에 input되는 데이터는 random noise(정말 랜덤한 값을 초기값으로 입력)하기 때문에 기본적으로 아주 좋은 성능을 내는 모델은 아닙니다.

pix2pix(pixel to pixel)

• 이름 그대로 픽셀에서 픽셀을 생성하는 모델
• 특징이자 단점이라면, 훈련 데이터 셋이 반드시 타겟 데이터와 함께 짝을 이루어 학습되어야 한다는 점입니다.
• 아래와 같이, 왼쪽 점선으로 된 신발이 input 그리고 오른쪽의 운동화 사진이 output으로 이와같은 수많은 paired date set이 수많이 있어야 합니다.

CycleGAN

• GAN의 구조를 변경하여 만든 새로운 구조의 모델
• GAN은 학습했던 실제 이미지와 유사한 이미지를 생성자가 만들어낼 수 있는 방법이라면, CycleGAN은 특정 이미지의 특성을 다른 이미지에 적용하는 게 가능합니다.
• ex) 과일의 색을 바꾸거나, 사진 속의 계절을 바꾸고, 그림을 특정 화가의 화풍으로 바꾸는 등
• 특징 : pix2pix가 training에 있어 paired data를 필요로 했다면 CycleGAN은 서로 변환하고 싶은 두 스타일의 이미지를 따로 구해도 비교적 좋은 성능을 보입니다.

• 위의 그림처럼, 마치 2개의 GAN을 이용하여 순환하는 듯한 모양이라 cycle이라 이름이 붙었습니다.
• 윗 부분에서 갈색말을 input으로 생성자가 이미지를 만들면 판별자가 이를 분류하는 과정을 거칩니다.
• 이 때, 생성자에 의해 생성된 얼룩말 사진을 다시 또다른 생성자에 input으로 넣음으로써 다시 갈색말을 만들어내게 되고 이를 또다른 판별자가 분류합니다. 이러한 cycle을 통해 원본 데이터로 돌아갈 수 있는 정도의 변환만을 거치게 됩니다.