1. 기울기 소멸 및 폭증 문제

• 다층신경망 학습은 포워드 패스 / 백워드 패스로 이루어짐

• 백워드 패스에서는 포워드 패스 시 구해진 오차값을 줄이는 방향으로 '은닉층 - 출력층' , '은닉층 - 은닉층' , '입력층 - 은닉층' 사이 가중치를 조정

  → 이때 기울기 소멸 / 기울기 폭증 문제가 발생할 수 있음

1) 기울기 소멸 문제

• 가중치 조절을 위해 연결 가중치 변화에 따른 오류의 변화량 ( = 기울기 )를 측정
• 백워드 패스가 진행될수록 ( → 입력층 방향으로 깊이 들어갈수록 ) 변화량은 0에 가까워짐
• 변화량이 0에 가까워져 하위 은닉층들은 학습이 제대로 되지 않음

2) 기울기 폭등문제

• 소멸 문제와는 반대로 백워드 패스가 진행될수록 기울기가 커지는 경우
• 가중치의 변화가 심해져 값이 수렴하지 않게 됨

2. 해결법

1) 효과적인 가중치 초기화

• 학습 공간 탐색 시 더 좋은 최소값을 찾을 수 있는 기회를 제공
• 단, 신중하게 선택하지 않을 시 학습 진행이 매우 느려질 수 있음
• 활성화 함수에 따라 특화된 초기화 방법 사용

logistic 활성화 함수

• Xavier 초기화 방법을 사용
• $\sqrt{2 \over ninputs+noutputs}$ 과 같은 표준 편차를 갖는 정규 분포 랜덤 값으로 초기화

ReLU 활성화 함수