1. GAN

• 생성적 적대 네트워크
• 지폐위조범과 경찰에 비유 됨
  • 위조범은 더욱 교묘하게 속이려 함, 경찰은 더욱 정확하게 위조된 지폐를 감별하려 함
  • 따라서 양쪽 모두 서로의 능력이 점진적으로 발전

1) 구조

• 목표 출력을 생성하는 것을 배우는 생성자 / 실제 데이터와 생성자의 출력을 구별하는 것을 배우는 판별자의 쌍으로 구성 됨
  • 판별자는 이진분류 / 혹은 0 or 1을 예측하는 형태의 다층신경망 구조
  • 생성자는 단순 분포 (정규분포 또는 균등분포) 의 샘플로부터 진짜 같은 '가짜' 데이터로 매핑하는 함수를 학습하기 위한 다층신경망 구조
• 각각은 별도의 신경망으로 구성됨, 생성자의 출력이 판별자의 입력으로 들어가게 결합
  • 따라서, 생성자의 출력 벡터 차원 == 판별자의 입력 벡터 차원
  • 생성자의 입력 벡터의 차원은 보통 출력 벡터의 차원보다 작음
    • 오토인코더에서의 잠재 공간의 압축 벡터와 유사 함
• 생성자는 판별자를 속여야하고, 판별자는 속지 않게 판별해야하므로 결국 진짜와 같은 가짜가 생성 됨

2) 학습 과정

손실 함수

• 판별자는 정확도를 최대화 시키는 방향으로 학습 진행

  • 진짜 데이터들의 판별 확률 로그값과 가짜 데이터들의 반전 판별 확률 로그값을 최대화 하는 방향으로 학습

  • 해당 함수에 -1을 곱해 나오는 값을 최소화 하도록

    → $\text{minimize }-(\log D(x) + \log(1 - D(G(z))))$

• 생성자는 정확도를 최소화 시키도록 진행

  • 가짜 데이터들의 반전 판별 확률 로그값을 최소화 하는 방향으로 학습

    → $\text {minimize } \log(1 - D(G(z)))$

• 학습 초기에 G가 불량한 경우 D는 학습 데이터와 분명히 달라짐

  = 가짜 데이터를 판별할 확률이 높아짐

  = 손실 함수의 포화를 유발

  = 학습하기에 충분한 기울기를 제공할 수 없음

  → 따라서 비포화 손실함수를 사용

학습 방법

• '진짜' 데이터와 '가짜' 데이터의 미니배치를 이용하여 판별자를 학습
  • 진짜 데이터와 가짜 데이터의 미니배치를 교대로 이용하여 학습
• 학습 결과 위에 '가짜' 데이터 미니배치를 이용하여 생성자를 학습
• 각각 요소 학습 시 해당하는 요소의 가중치만 변경
• 반복 요소는 epoch 이 아니라 $\text{epoch} * (\text{샘플 수} / \text{배치 크기})$