1. 디코더를 생성 모델로 사용

• 오토인코더는 인코더와 디코더로 구성 됨

  • 인코더 : 입력 벡터 → 압축된 벡터
  • 디코더 : 압축된 벡터 → 원래 벡터 형태로

• 입력 벡터에 대응되는 압축 벡터를 디코더의 입력으로 주면 입력 벡터와 유사한 벡터가 생성

• 디코더를 생성 모델로 사용하려면 입력으로 제공된 압축 벡터가 정규적이어야 함

  → 잠재 공간 내에서 고른 분포를 가짐

  • 오토인코더 학습 시 생성되어지는 압축 벡터들은 정규 분포를 띄기가 매우 어려움
  • 이를 그대로 사용하면 과적합 가능성이 높음

2. VAE (가변 오토인코더)

• 디코더를 생성 모델로 사용하기 위해 잠재 공간에 정규성을 부여할 수 있게 제안된 모델

1) 구조

• 구성 요소는 인코더와 디코더로 동일
  • 입력은 기존과 다르게 잠재 공간에 대한 분포로 인코딩되고, 잠복 공간 상의 한 점이 해당 분포에 따라 샘플링
  • 샘플링 된 포인트는 디코딩 되고, 그 후 재구성 에러 (디코딩 결과와 입력 데이터 차이) 가 계산 됨
  • 재구성 오류가 역전파됨

• 잠재 분포 생성 과정에 확률이 개입되므로 decoder의 최종 결과물도 확률에 따라 달라지게 됨

2) 학습 과정

• 인코딩 된 분포는 가우시안 정규분포를 사용

  • 따라서 인코더는 평균 및 공분산 행렬을 반환하도록 훈련되어 짐

• 손실 함수는 재구성항과 정규항으로 구성

  • 재구성항 : 오토인코더의 마지막 층에서 계산되는 오류
  • 정규항 : 인코더가 반환한 분포와 표준 가우시안 분포의 Kulback-Leibler 발산
    • 인코더가 반환하는 분산이 표준 정규분포에 가까워지도록 하여 잠재 공간을 정규화하는 데 사용하는 항목

• 평균과 표준편차로부터 직접 샘플링하면 역전파 과정으로 오류를 전파할 수 없음

  → $N(\mu, \sigma)$ 샘플링을 $N(0, 1)$을 이용한 샘플링으로 바꾸어 구현