조금씩 어떤 한 분야를 이해해가는 것은 즐거운 일이다. 예전에 스타크래프트를 할 때 까맣게 가려져 있던 미니맵을 프로브가 정찰하면서 점차적으로 어둠을 물리쳐가는 느낌이라고 해야할까? (프로 유저입니다.ㅋㅋ) 맵을 밝힐수록 두려움은 사라진다. 오늘은 softmax 함수라는 미지의 세계를 밝혀보자. 

▶ softmax 함수란?

softmax 함수는 K개의 값이 존재할 때 각각의 값의 편차를 확대시켜 큰 값은 상대적으로 더 크게, 작은 값은 상대적으로 더 작게 만든 다음에 normalization 시키는 함수다[2]. 아래 식을 살펴보자.  

...(공식1: softmax 함수)

공식1에서 분자에 있는 지수함수가 각각의 값의 편차를 확대시키는 역할을 한다. 지수함수 그래프를 생각해보면 입력값이 커질수록 기하급수적으로 출력값이 커짐을 알 수 있다. 따라서 K개 값 중에서 큰 값이었던 것은 상대적으로 확실히 커지게 되고, 작은 값이었던 것은 상대적으로 작아지게 된다. 분모에 모든 K값의 지수함수값을 모두 더했기 때문에 상대성을 갖게 되는 것이다. 

그리고 또 하나 중요한 것은 softmax 함수를 거친 K개 값의 합은 1이 된다는 것이다.  

그러니까 정리하자면, softmax를 통해서 K개 값들은 상대적인 중요도를 나타내는 K개 값으로 새로 태어나고, 그 값들의 총합은 1이 된다. 이러한 특성이 있기 때문에 딥러닝의 마지막 출력단에 사용되는 것이다. fully-connected layer의 마지막 층의 출력값에 softmax를 적용하면 그 값들은 클래스 확률로 변모한다. 어떤 클래스에 속할 확률을 나타내는 것이다. 강아지 클래스에 속하는지, 고양이 클래스에 속하는지, 사람 클래스에 속하는지 말이다. 

<참고자료>

[1] https://ko.wikipedia.org/wiki/%EB%94%A5_%EB%9F%AC%EB%8B%9D

[2] https://nerve.tistory.com/160, 김정섭님 티스토리

ILSVRC은 ImageNet Large Scale Visual Recognition Challenge의 약자로 이미지 인식(image recognition) 경진대회이다. 여기서 이미지 인식과 이미지 분류(image classification)는 같은 의미를 갖는다. 대용량의 이미지셋을 주고 이미지 인식 알고리즘의 성능을 평가하는 대회이다. 2010년에 시작되었다. 이 대회에서 우승한 알고리즘들이 컴퓨터 비전 분야 발전에 큰 역할을 해왔다. 이른바 대세 알고리즘들이 되었다.  

2010년, 2011년에 우승을 차지한 알고리즘들은 얕은 구조(shallow architecture)를 가진 것들이었다. 얕은 구조를 가진 알고리즘에서는 이미지 인식에 유용할만한 특성들을 개발자들이 결정해서 도출했다. 그러나 2012년 CNN 기반 딥러닝 알고리즘 AlexNet이 우승을 차지한 이후에는 깊은 구조(deep architecture)를 가진 알고리즘들이 우승을 차지했다. AlexNet은 약 26%였던 인식 오류율을 16%까지 낮췄다. 10%를 낮춘다는 것은 상상하기도 힘든 일이었다. 얕은 구조 기반 알고리즘들로는 0.1% 낮추는 것도 쉽지 않았기 때문이다. 

딥러닝 기반 알고리즘이 사용되면서 인식 오류는 확실하게 낮아졌다. 심지어 2015년에는 사람의 정확도라고 알려진 5%를 추월했다. 2017년의 SENet의 경우 2.3%로 사람의 인식 에러율의 절반도 안된다. 

그림1. ILSVRC 대회 역대 우승 알고리즘들과 인식 에러율.

역대 우승 알고리즘은 다음과 같다(그림1 참고). 

<참고자료>

[1] https://www.statista.com/statistics/808190/worldwide-large-scale-visual-recognition-challenge-error-rates/

[2] http://research.sualab.com/introduction/2017/10/10/what-is-deep-learning-2.html

[3] https://www.sohu.com/a/161633191_465975/?pvid=000115_3w_a

주중에 수요예배를 드리면서 믿는 형제, 자매들을 자신의 잣대로 비판하지 말라는 말씀을 들었다. 정말 본질적인 것을 제외하고는 하나님을 섬기는 방식에 있어서 다양성이 존재할 수 있는 것인데 그것을 인정하려하지 않았다는 생각이 들었다. 내 방식, 내 경험에 의해 맞지 않다고 생각하면 정죄했다. 이런 나의 모습을 주님 긍휼히 여겨주시고, 용서해주세요. 

그럼에도 나와 다른 사람들을 이해하는 것은 쉽지 않다. 나와 비슷한 유형의 사람들은 받아들이기 쉽지만, 참 많이 다른 사람들이 용납하기가 쉽지 않다. 그래서 선뜻 다가서지 못한다. 

하나님이 우리를 먼저 사랑하셨다. 우리가 하나님을 사랑하지 않을 때에. 그분께서 우리가 서로 사랑하라고 명령하신다. 우리도 하나님과 같이 먼저 사랑하도록 힘써야 할 것이다. 주는 것이 받는 것보다 복이 있다고 말씀을 본받아 먼저 사랑을 주자. 

하나님이 그를 받으셨음이니라 (롬 14:3)

그러므로 그리스도께서 우리를 받아 하나님께 영광을 돌리심과 같이 너희도 서로 받으라 (롬 15:7)

너희가 나를 택한 것이 아니요 내가 너희를 택하여 세웠나니 (요 15:16)

주는 것이 받는 것보다 복이 있다 (행 20:35)

1. 나는 예배자입니다

2. 완전하신 나의 주

3. 서로 사랑하자 - 히즈윌

중간 부분부터 느낌대로 코드를 적은 것이라 확실히 맞는 지는 모륵겠다.

4. Born Again - 제이어스

딥러닝 관련 논문을 보다보면 실험 평가 부분에서 top-5 error와 top-1 error라는 용어들을 심심찮게 발견하게 된다. top-5 error와 top-1 error는 이미지 분류(image classification) 성능을 평가하기 위한 것들이다. 

훈련이 된 분류기(classifier)는 주어진 테스트 이미지가 어떤 클래스에 속하는지 분류해낼 것이다. {고양이, 강아지, 집, 축구공, 사자}와 같이 5개의 클래스 라벨을 가지고 훈련된 분류기가 있다고 가정해보자. 새로운 이미지를 이 분류기에 입력해줬는데, 0.1, 0.6, 0.05, 0.05, 0.2와 같은 결과를 냈다. 새로운 이미지가 강아지일 확률이 가장 높다고 판단한 것이다. 이때 top-1 class는 {강아지}가 된다. 그리고 top-2 class는 {강아지, 사자}가 된다. 

분류기가 새로운 테스트 이미지들에 대해 예측한 클래스, 즉 top-1 class가 실제 클래스와 같다면 이때 top-1 error는 0%가 된다. 또한 분류기가 높은 확률로 예측한 상위 5개의 클래스, 즉 top-5 class 중에 실제 클래스가 있다면, 이때 top-5 error는 0%가 된다. 클래스가 5개밖에 없다면 top-5 error는 무조건 0%일 것이다. 하지만 보통 클래스는 그것보다 훨씬 많다. 100개일 때도 있고, 1000개일 때도 있다. 그 이상이 될 수도 있다. 

1000개의 클래스로 훈련된 분류기의 top-5 error가 5%보다 작으면, 분류 능력이 상당히 좋다고 판단할 수 있다. 클래스가 1000개 정도되면 가장 높은 확률로 판단한 다섯 개의 클래스는 서로 상당히 유사한 것들일 가능성이 크다. 모두 강아지인데 조금씩 생김새가 다른 품종일수도 있다. 따라서 top-5 error가 낮으면 분류기의 성능이 좋다고 판단할 수 있는 것이다. 

<참고자료>

[1] https://www.quora.com/What-does-the-terms-Top-1-and-Top-5-mean-in-the-context-of-Machine-Learning-research-papers-when-report-empirical-results 

[2] https://stats.stackexchange.com/questions/156471/imagenet-what-is-top-1-and-top-5-error-rate?newreg=8f6efb5ebaca415b90eca3510fb1f6b4 

지난번에 컨볼루션 신경망(CNN)에 대해 대략적으로 설명했었다. 오늘은 이미지 분류용 CNN 중에 조상격인 LeNet에 대해서 살펴볼 것이다. LeNet의 다양한 버전들(LeNet-1, LeNet-2,...) 중에서 최종 버전인 LeNet-5를 정리하려고 한다. 자세히 읽으신다면 분명 유익한 것이 있을 거라고 생각합니다.^^ 

▶ LeNet 

LeNet은 CNN을 처음으로 개발한 얀 르쿤(Yann Lecun) 연구팀이 1998년에 개발한 CNN 알고리즘의 이름이다. 우선 구조를 살펴보자. 

그림1. LeNet-5의 구조 [2]

그림1에서 볼 수 있듯이 LeNet-5는 인풋, 3개의 컨볼루션 레이어(C1, C3, C5), 2개의 서브샘플링 레이어(S2, S4), 1층의 full-connected 레이어(F6), 아웃풋 레이어로 구성되어 있다. 참고로 C1부터 F6까지 활성화 함수로 tanh을 사용한다.   

1) C1 레이어: 입력 영상(여기서는 32 x 32 사이즈의 이미지)을 6개의 5 x 5 필터와 컨볼루션 연산을 해준다. 그 결과 6장의 28 x 28 특성 맵을 얻게 된다. 

2) S2 레이어: 6장의 28 x 28 특성 맵에 대해 서브샘플링을 진행한다. 결과적으로 28 x 28 사이즈의 특성 맵이 14 x 14 사이즈의 특성맵으로 축소된다. 2 x 2 필터를 stride 2로 설정해서 서브샘플링해주기 때문이다. 사용하는 서브샘플링 방법은 평균 풀링(average pooling)이다.

3) C3 레이어: 6장의 14 x 14 특성맵에 컨볼루션 연산을 수행해서 16장의 10 x 10 특성맵을 산출해낸다. 이것 이해하는데 한참 걸렸다. 참고자료[4]가 이해하는데 큰 도움이 되었다. 아마도 지금 이해한 것이 맞을 것이다. (혹시나 틀렸다면 누군가 알려주시길.) 

6장의 14 x 14 특성맵에서 연속된 3장씩을 모아서 5 x 5 x 3 사이즈의 필터와 컨볼루션 해준다(그림2에서 열0-5). 6장의 10 x 10 특성맵이 산출된다. 

또한 6장의 14 x 14 특성맵에서 연속된 4장씩을 모아서 5 x 5 x 4 사이즈의 필터와 컨볼루션 해준다(그림2에서 열6-11). 6장의 10 x 10 특성맵이 산출된다. 

또한 6장의 14 x 14 특성맵에서 불연속한 4장씩을 모아서 5 x 5 x 4 사이즈의 필터와 컨볼루션 해준다(그림2에서 열12-14). 3장의 10 x 10 특성맵이 산출된다.  

마지막으로 6장의 14 x 14 특성맵 모두를 가지고 5 x 5 x 6 사이즈의 필터와 컨볼루션 해준다(그림2에서 열15). 1장의 10 x 10 특성맵이 산출된다.

결과적으로 16장(6 + 6 + 3 + 1)의 10 x 10 특성맵을 얻게 되었다. 

그림2. C3에서 6장의 14 x 14 특성맵을 조합하는 방법 [2]

4) S4 레이어: 16장의 10 x 10 특성 맵에 대해서 서브샘플링을 진행해 16장의 5 x 5 특성 맵으로 축소시킨다. 

5) C5 레이어: 16장의 5 x 5 특성맵을 120개 5 x 5 x 16 사이즈의 필터와 컨볼루션 해준다. 결과적으로 120개 1 x 1 특성맵이 산출된다. 

6) F6 레이어: 84개의 유닛을 가진 피드포워드 신경망이다. C5의 결과를 84개의 유닛에 연결시킨다. 

7) 아웃풋 레이어: 10개의 Euclidean radial basis function(RBF) 유닛들로 구성되어있다. 각각 F6의 84개 유닛으로부터 인풋을 받는다. 최종적으로 이미지가 속한 클래스를 알려준다. 

LeNet-5를 제대로 가동하기 위해 훈련해야할 파라미터는 총 156 + 12 + 1516 + 32 + 48120 + 10164 = 60000개다. 

▶ 글을 마무리하며... 

포스팅을 준비하고 글을 쓰면서 LeNet-5에 대해 어느 정도 이해한 것 같아 기분이 좋다. 누군가에게 도움이 되는 글이길... 

<참고자료>

[1] https://laonple.blog.me/220648539191, 라온피플의 LeNet에 관한 포스팅

[2] Lecun 1998, Gradient-based learning applied to document recognition, LeNet-5에 대한 논문

[3] https://reniew.github.io/07/, reniew's blog의 LeNet에 관한 포스팅

[4] https://yohanes.gultom.me/2016/12/12/understanding-lenet-lecun-1998/, undefined 블로그

중국에서 살다보면 가장 힘든 것이 서비스와 관련된 일들 처리할 때다. 언어 실력이 부족해서 그런 것도 있겠지만, 내가 봤을 때는 시스템이 혼란스럽다. 어디에 가야, 어디에 전화해야지 이 문제를 해결할 수 있는지 알기가 어렵다. 중국 친구들도 동의하는 바다. 

인터넷을 신청하고, 실제로 집에 인터넷이 되게 하는데 거의 5일의 시간이 걸렸다. 

그래도 결국 해결되어서 감사하다... 감사한가? 감사하자. 

박사과정을 밟고 있는 공학도로써 연구하고 논문쓰는 것은 너무나 일상적인 일이다. 그럼에도 불구하고 한 논문을 끝내고, 또 다른 논문을 시작하려고 할 때는 항상 두려움이 찾아온다. 

초고 저술, 퇴고, 퇴고, 퇴고, 퇴고, 제출, 심사, 퇴고, 심사, 퇴고, 심사, 통과, 파일제출, Proof, 개제

'이 과정을 또 해야해?'

'막막하다.'

'저번보다 더 나은 논문을 쓸 수 있을까?'

'심사 과정들을 잘 통과할 수 있을까?'

지난 두어달간의 연구를 바탕으로 이제 또 한 편의 학술논문 초고를 쓰려고 한다. 

너무 생각을 많이 하지 말고 일단 쓰자. 생각만 하다간 시작도 못한다. 일단 손을 움직여 키보드를 두드리자. 그리고 당분간 논문 저술에 집중하자. 

이 과정을 통해 한뼘 더 성장해있을 것이다. 

이렇게 마음을 다 잡으려 하지만 그래도 시작하기 싫다. 더 미루고 싶다. 시작하면 당분간 어떻게 지내야할지 알기에...