1. LeNet-5

• 가장 널리 알려진 CNN 구조의 신경망
• 1998년 제안됨, 필기체 손글씨 인식에 널리 사용됨

1) 구조

• 입력 → 컨볼루션 → 평균풀링 → 컨볼루션 → 평균풀링 → 컨볼루션 → 완전연결 → 완전연결

  <aside> 💡 PPT엔 필터크기나 이동거리, 활성화 함수 등 다양한 파라미터가 적혀있는데 못 외울거같아서 생략

  </aside>

2. AlexNet

• 2012년 ImageNet ILSVRC 챌린지에서 월등한 차이로 우승한 CNN 형태의 신경망
• LeNet-5 와 비슷한 구조, 하지만 훨씬 많은 뉴런의 수와 더 깊어진 층을 가짐

1) 구조

• LeNet-5의 경우 컨볼루션층과 풀링층이 교대로 왔으나, AlexNet은 컨볼루션이 연속적으로 오기도 함

• 입력 → 컨볼루션 → 맥스풀링 → 컨볼루션 → 맥스풀링 → 컨볼루션 → 컨볼루션 → 컨볼루션 → 맥스풀링 → 완전연결 → 완전연결 → 완전연결

• 컨볼루션 층의 활성화 함수 적용 후 국부 반응 정규화라는 과정이 포함 됨

  • 특정 위치의 뉴런 값을 이웃 특징 맵의 같은 위치 값을 고려해 정규화

  # tflearn 으로 국부 반응 정규화를 사용하는 함수
  tflearn.layers.normalization.local_response_normalization()
  

3. VGGNet

• 2014년 ILSVRC에서 2위를 차지한 CNN 신경망
• 1위는 GoogLeNet 이지만, 그에 비해 구조가 간단하고 따라서 이해 및 변형이 쉬워 이를 더 많이 사용

1) 구조

• AlexNet과 유사하게 하나 혹은 다수의 컨볼루션층 다음에 풀링층이 오고 끝에 세개의 완전연결층이 존재

• 층이 훨씬 깊어졌고, 컨볼루션 층의 필터 사이즈가 3 * 3 으로 고정

  • 대신 여러개를 쌓기 때문에 다른 크기의 필터를 적용하는 효과를 줄 수 있음

    • 33 컨볼루션층을 두 개 쌓으면 55 컨볼루션층과 같은 효과 / 세 개 쌓으면 7*7...

    → 큰 사이즈의 필터에 비해 패러미터의 수가 줄어 학습 속도가 빨라짐

    → 층의 개수가 깊어져 비선형성이 증가하므로 유용한 특징이 나올 확률 상승

• 층의 깊이에 따라 VGG-11, VGG-13, VGG-16, VGG-19 등으로 네이밍

  • 층 수는 컨볼루션과 완전 연결층으로만 셈