1. Stacked 오토인코더

• 은닉층이 두 개 이상인 오토인코더 ( = deep 오토인코더 라고도 함 )
• 은닉층이 깊어질수록 더 압축된 형태로 인코딩이 됨
  • 이게 꼭 학습에 긍정적인 영향을 주는건 아님
  • 층을 무작정 깊게 하면 code는 한 개의 뉴런으로 구성이 가능하겟지만, 이 경우 입력 벡터는 스칼라 값으로 변환되고 이를 회귀분석이나 분류에 적용 시 결코 좋은 결과를 얻을 수 없음

1) 학습

• 다층 신경망과 동일하게 한 번에 학습해도 됨
• 은닉층 한 층씩 학습하고 쌓아 올릴수도 있음
  • 첫 층은 입력 == 출력 == 학습 데이터의 입력 벡터로 지정 해 학습
  • 두 번째 층은 첫 층에서 저장해둔 값을 사용하고 출력 값으로 동일한 값을 사용
  • 이후 별도로 학습 하지 않고 기존에 학습한 결과, 즉 은닉층의 가중치와 바이어스 값을 복사해 오토인코더를 완성
• 한 층씩 학습하는 것이 통째로 학습하는 것보다 빠름
  • 하지만 tflearn으로는 이러한 방법을 사용할 수 없음

2. Denoising 오토인코더

• 잡음을 제거할 수 있는 오토인코더

  • 입력으로 노이즈 포함 데이터, 타겟으로 노이즈가 없는 데이터를 제시

  • 노이즈 포함 데이터가 없을 시 가우시안 노이즈를 섞은 데이터 이용

    • np.random.normal() 함수를 통해 생성할 수 있음

    # 잡음을 생성하는 함수
    def addNoise(original, std):
    	noisy = original + np.random.normal(loc = 0.0, scale = std, size = original.shape)
    	# loc : 분포의 평균, scale : 표준편차, size : 생성할 값의 shape
    	return np.clip(noisy, 0., 1.)