[CNN 알고리즘들] GoogLeNet(inception v1)의 구조

공부/머신러닝, 딥러닝|2019. 10. 7. 16:09

728x90

LeNet-5 => https://bskyvision.com/418

AlexNet => https://bskyvision.com/421

VGG-F, VGG-M, VGG-S => https://bskyvision.com/420

VGG-16, VGG-19 => https://bskyvision.com/504

GoogLeNet(inception v1) => https://bskyvision.com/539

ResNet => https://bskyvision.com/644

SENet => https://bskyvision.com/640

 

-----

 

CNN 알고리즘들을 계속해서 포스팅하고 있다. LeNet-5, AlexNet, VGG-F, VGG-M, VGG-S, VGG16, VGG19에 이어서 오늘은 GoogLeNet에 대해 소개하려고 한다.

 

GoogLeNet은 2014년 이미지넷 이미지 인식 대회(ILSVRC)에서 VGGNet(VGG19)을 이기고 우승을 차지한 알고리즘이다. GoogLeNet은 19층의 VGG19보다 좀 더 깊은 22층으로 구성되어 있다. GoogLeNet의 original 논문은 Christian Szegedy 등에 의해 2015 CVPR에 개제된 "Going Deeper with Convolutions"이다. GoogLeNet이란 이름에서 알 수 있듯이 구글이 이 알고리즘 개발에 참여했다. 

 

GoogLeNet의 구조

먼저 GoogLeNet의 구조도를 살펴보자. 

 

GoogLeNet의 구조도 [출처: original 논문]

 

GoogLeNet은 상술한 바와 같이 22개 층으로 구성되어 있다. 파란색 블럭의 층수를 세보면 22개 층임을 알 수 있다. 이제 GoogLeNet의 특징들을 하나하나 살펴보자. 

 

1) 1 x 1 컨볼루션

먼저 주목해야할 것은 1 x 1 사이즈의 필터로 컨볼루션해주는 것이다. 구조도를 보면 곳곳에 1 x 1 컨볼루션 연산이 있음을 확인할 수 있다.

 

1 x 1 컨볼루션은 어떤 의미를 갖는 것일까? 왜 해주는 것일까? GoogLeNet에서 1 x 1 컨볼루션은 특성맵의 갯수를 줄이는 목적으로 사용된다. 특성맵의 갯수가 줄어들면 그만큼 연산량이 줄어든다.

 

예를 들어, 480장의 14 x 14 사이즈의 특성맵(14 x 14 x 480)이 있다고 가정해보자. 이것을 48개의 5 x 5 x 480의 필터커널로 컨볼루션을 해주면 48장의 14 x 14의 특성맵(14 x 14 x 48)이 생성된다. (zero padding을 2로, 컨볼루션 보폭은 1로 설정했다고 가정했다.) 이때 필요한 연산횟수는 얼마나 될까? 바로 (14 x 14 x 48) x (5 x 5 x 480) = 약 112.9M이 된다. 

 

이번에는 480장의 14 x 14 특성맵(14 x 14 x 480)을 먼저 16개의 1 x 1 x 480의 필터커널로 컨볼루션을 해줘 특성맵의 갯수를 줄여보자. 결과적으로 16장의 14 x 14의 특성맵(14 x 14 x 16)이 생성된다. 480장의 특성맵이 16장의 특성맵으로 줄어든 것에 주목하자. 이 14 x 14 x 16 특성맵을 48개의 5 x 5 x 16의 필터커널로 컨볼루션을 해주면 48장의 14 x 14의 특성맵(14 x 14 x 48)이 생성된다. 위에서 1 x 1 컨볼루션이 없을 때와 결과적으로 산출된 특성맵의 크기와 깊이는 같다는 것을 확인하자. 그럼 이때 필요한 연산횟수는 얼마일까? (14 x 14 x 16)*(1 x 1 x 480) + (14 x 14 x 48)*(5 x 5 x 16) = 약 5.3M이다. 112.9M에 비해 훨씬 더 적은 연산량을 가짐을 확인할 수 있다. 연산량을 줄일 수 있다는 점은 네트워크를 더 깊이 만들수 있게 도와준다는 점에서 중요하다. 

 

1x1 컨볼루션의 효과

 

2) Inception 모듈

이번엔 GoogLeNet의 핵심인 Inception 모듈에 대해 살펴보자. Inception모듈들을 위 구조도에서 표시하면 다음과 같다. 

 

GoogLeNet은 총 9개의 인셉션 모듈을 포함하고 있다. 인셉션 모듈을 하나 확대해서 자세히 살펴보자. 

 

출처: GooLeNet의 original paper

GoogLeNet에 실제로 사용된 모듈은 1x1 컨볼루션이 포함된 (b) 모델이다. 아까 살펴봤듯이 1x1 컨볼루션은 특성맵의 장수를 줄여주는 역할을 한다. 노란색 블럭으로 표현된 1x1 컨볼루션을 제외한 나이브(naive) 버전을 살펴보면, 이전 층에서 생성된 특성맵을 1x1 컨볼루션, 3x3 컨볼루션, 5x5 컨볼루션, 3x3 최대풀링해준 결과 얻은 특성맵들을 모두 함께 쌓아준다. AlexNet, VGGNet 등의 이전 CNN 모델들은 한 층에서 동일한 사이즈의 필터커널을 이용해서 컨볼루션을 해줬던 것과 차이가 있다. 따라서 좀 더 다양한 종류의 특성이 도출된다. 여기에 1x1 컨볼루션이 포함되었으니 당연히 연산량은 많이 줄어들었을 것이다. 

 

3) global average pooling

AlexNet, VGGNet 등에서는 fully connected (FC) 층들이 망의 후반부에 연결되어 있다. 그러나 GoogLeNet은 FC 방식 대신에 global average pooling이란 방식을 사용한다. global average pooling은 전 층에서 산출된 특성맵들을 각각 평균낸 것을 이어서 1차원 벡터를 만들어주는 것이다. 1차원 벡터를 만들어줘야 최종적으로 이미지 분류를 위한 softmax 층을 연결해줄 수 있기 때문이다. 만약 전 층에서 1024장의 7 x 7의 특성맵이 생성되었다면, 1024장의 7 x 7 특성맵 각각 평균내주어 얻은 1024개의 값을 하나의 벡터로 연결해주는 것이다.

 

 

이렇게 해줌으로 얻을 수 있는 장점은 가중치의 갯수를 상당히 많이 없애준다는 것이다. 만약 FC 방식을 사용한다면 훈련이 필요한 가중치의 갯수가 7 x 7 x 1024 x 1024 = 51.3M이지만 global average pooling을 사용하면 가중치가 단 한개도 필요하지 않다. 

 

4) auxiliary classifier

네트워크의 깊이가 깊어지면 깊어질수록 vanishing gradient 문제를 피하기 어려워진다. 그러니까 가중치를 훈련하는 과정에 역전파(back propagation)를 주로 활용하는데, 역전파과정에서 가중치를 업데이트하는데 사용되는 gradient가 점점 작아져서 0이 되어버리는 것이다. 따라서 네트워크 내의 가중치들이 제대로 훈련되지 않는다. 이 문제를 극복하기 위해서 GoogLeNet에서는 네트워크 중간에 두 개의 보조 분류기(auxiliary classifier)를 달아주었다. 

 

 

보조 분류기의 구성을 살펴보면, 5 x 5 평균 풀링(stride 3) -> 128개 1x1 필터커널로 컨볼루션 -> 1024 FC 층 -> 1000 FC 층 -> softmax 순이다. 이 보조 분류기들은 훈련시에만 활용되고 사용할 때는 제거해준다. 

 

-----

 

정말 오랜만에 CNN 알고리즘 포스팅을 이어갔네요. 다음 포스팅은 2015년 이미지넷 이미지 인식 대회(ILSVRC) 우승 알고리즘인 ResNet이 되지 않을까 싶습니다. ㅎㅎ 

 

 

<참고자료>

[1] https://laonple.blog.me/220686328027, 라온피플, "5. GoogLeNet [1] - 라온피플 머신러닝 아카데미 -"

[2] https://medium.com/coinmonks/paper-review-of-googlenet-inception-v1-winner-of-ilsvlc-2014-image-classification-c2b3565a64e7, Sik-Ho Tsang, "Review: GoogLeNet (Inception v1) - Winner of ILSVRC 2014 (Image Classification)"

[3] http://www.vlfeat.org/matconvnet/models/imagenet-googlenet-dag.svg

  1. kt 2020.01.31 23:48 댓글주소  수정/삭제  댓글쓰기

    auxiliary classifer 보조 분류기의 경우 vanishing gradient의 문제해결에 어떤 도움을 주는지 잘 이해가 안 되지 않습니다.. 혹시 구체적으로 어떻게 문제 극복에 도움이 될까요,,?

    • BlogIcon b스카이비전 2020.01.31 23:55 신고 댓글주소  수정/삭제

      역전파를 통해 망의 맨 끝에서부터 가중치들을 조정해가는데 망이 너무 깊다보면 가중치를 조정하는데 사용되는 그레디언트가 소멸되어 0에 가까워집니다. 즉, 가중치를 제대로 조정할 수 없게 되는 거죠. 그런데 망의 중간중간에 Auxiliary classifier를 붙여주면, 망의 끝에서 보기엔 먼 위치에 있어서 제대로 조정할 수 없었던 가중치들을 Auxiliary classifier들이 조정해주는 것이죠.

    • kt 2020.02.01 18:00 댓글주소  수정/삭제

      최종 관리자에서 조정하기에는 너무 멀어서 중간 관리자들을 두고 가중치를 조정하는 역할이군요. 감사합니다. 이해했습니다.

    • BlogIcon b스카이비전 2020.02.01 18:07 신고 댓글주소  수정/삭제

      오 좋은 비유네요 ㅎㅎ

  2. kt 2020.02.04 15:33 댓글주소  수정/삭제  댓글쓰기

    inception 모듈해서 연산 결과 특성맵의 사이즈가 같나요?
    출력으로 같은 사이즈의 특성맵을 쌓는 다는 의미인지 질문드려요!

  3. dokeng7 2020.10.14 18:35 댓글주소  수정/삭제  댓글쓰기

    좋은 글 잘 읽었습니다. 질문이 있는데 16개의 1x1x480 filter로 convolution을 먼저할때 왜 input size가 14*14 로 그대로인지 알 수 있을까요? 1*1 convolution일때는 위의 5*5 filter와는 다르게, zero padding을 0으로 가정하나요?

  4. BlogIcon b스카이비전 2020.10.15 10:23 신고 댓글주소  수정/삭제  댓글쓰기

    좋은 질문 감사드립니다. 1×1 필터로 처리하는 경우에는 픽셀을 하나씩 처리하기 때문에 사이즈 손실이 없기 때문에 14×14 그대로 입니다. 그래서 제로패딩도 필요가 없구요^^