CNN의 다양한 모델들 정리

대학원준비용으로 간단하게 훑은 내용입니다. 이후 추가할 수 있고 중요한 특징만 정리했습니다.

[LE Net]

Feature extraction + Classifier

[Modern CNN]

ImageNet

1000 object challenge. 1.2M train data set을 사용

AlexNet

• Data + Hardware : 충분한 양의 데이터와 쓸만한 하드웨어 등장
• ReLU(첫 등장) + much deeper
• Maxpooling 사용 ⇒ 이전엔 AVG 사용

Hidden layer 8개, 최초로 대규모 영상 데이터에 좋은 성과. ReLU Activation 첫 고안

VGGNet : Networks using blocks

• Block개념 첫도입
• ReLU같은 non-linearity
• maxpooling
• conv-activation-pooling ⇒ block으로 만든다

GoogleNet

출처 : https://pytorch.org/hub/pytorch_vision_googlenet/

• 한 layer마다 conv kernel의 사이즈를 다양하게
• kernel size = memory와 연관

Residual Block : ResNet

x ⇒ f(x) + x 그냥 합치거나 1x1 conv ⇒ 입력과 출력 함께 가져간다

input에서 중요한 부분 재강조할 수 있다.

Densely connected network : DenseNet

기존에는 더해서 가져갔다면 이번엔 concatentation을 수행

A⇒B⇒ concatentation