위와 같은 문자열들이 있다. 여기서 나이에 해당하는 숫자들만 쏙쏙 뽑아내고 싶다면 어떻게 해야할까? 바로 sscanf 함수를 사용하면 된다. sscanf 함수는 문자열에서 필요한 데이터만 추출할 때 사용할 수 있는 함수다. sscanf에서 맨 앞의 s는 string의 약자로 보이고, 맨 뒤의 f는 format의 약자로 보인다. 함수의 이름을 통해 이 함수가 어떤 작업을 하는지 알 수 있다.
"문자열(string)에서 형식(format)이 지정된 데이터를 읽어(scan)줘."
그럼 이제 위 문자열들에서 나이에 해당하는 숫자들만 추출해보자. 4개의 문자열에서 공통적으로 존재하는 내용이 I am + 나이 + years old. 이므로 다음과 같이 코딩을 하면 된다.
위 코드를 실행하면 다음과 같이 6, 12, 32, 75만 추출해서 age란 이름의 배열에 잘 담긴 것을 확인할 수 있다.
무식해보이는 예제를 만들었지만, 가끔 이것과 유사한 작업을 해야할 때가 있다.
sscanf 함수 사용 예제2
이번에는 어떤 폴더 내에 있는 이미지의 이름 중에서 숫자 부분만 추출해보자. C:\Users\Sim\Desktop\photos 폴더 내에 있는 IMG8771.jpg 에서 8771만 추출할 것이다. 아래와 같이 코드를 짜보았다.
여기서 집고 넘어가야 할 것은 \ 자리들에 \\를 썼다는 것이다. \를 하나만 쓰면 다른 명령으로 받아들이기 때문이다. \을 나타내기 위해서는 두 개를 써야 한다. 구현 결과 8771이 제대로 추출되었다.
연구실 후배 펠릭스(from 나이지리아)가 Bag of Words (BoW)를 사용하는 도중에 어려움에 봉착했다. 함께 그 문제를 해결해가기 위해서 나도 BoW에 대해 조사하기 시작했다. 이름은 많이 들어봤지만 BoW에 대해 제대로 파헤친 적은 없었기 때문이다.
Bag of Words (BoW)는 Bag of Visual Words와 Bag of Features로 불리기도 한다. 컴퓨터 비젼 분야에서 BoW는 이미지 분류(image classification) 과제에 주로 사용된다. 이미지 분류에 BoW가 어떻게 활용될 수 있는지에 중점을 두고 BoW에 대해서 함께 알아보자.
문서 분류 과제에서 Bag of Words (BoW)
BoW는 맨 처음에 문서 분류 목적으로 사용되었기 때문에 Bag of Words라는 이름이 붙여졌다. BoW는 문서 내 어떤 단어들이 많이 존재하는지에 따라 문서의 주제를 분류해낸다. 예를 들어, 어떤 문서에서 '패스', '골', '선수' 등의 단어가 많이 출현했다면 그 문서는 스포츠에 관련된 문서로 분류하고, '노출', '피사체', '구도' 등의 단어가 많이 출현했다면 사진에 관련된 문서로 분류해내는 식이다. 이때 단어들의 순서는 전혀 고려하지 않는다. 어떤 단어가 먼저 나왔고, 어떤 단어가 나중에 나왔는가는 상관하지 않겠다는 것이다.
간단히 어떻게 작동하는지 살펴보자. 먼저 문서 내 존재하는 단어들로 단어장을 만든다. 그 다음에 각 단어마다 몇 번씩 출현했는지를 카운트해서 히스토그램을 만든다. 이 히스토그램이 각 문서의 속성에 대해서 묘사하고 있다고 말할 수 있다. 히스토그램을 보고 이 문서의 주제를 판단한다.
이미지 분류 과제에서 BoW
그렇다면 이미지 분류 과제에서 BoW는 어떻게 작동하는 것일까? 이미지 분류 과제에서 단어(word)에 해당하는 것은 지역 이미지 특성들(local image features)이다. 그 특성들은 SIFT나 SURF와 같은 영상 특징점(keypoint) 추출 알고리즘에 의해 결정되기도 하고, 간단히 이미지 지역 패치로 결정되기도 한다. 암튼 여러 장의 이미지로부터 특성을 도출한 결과가 다음과 같다고 가정해보자.
이렇게 도출된 특성들 중에는 상당히 유사한 것들이 존재할 것이다. 따라서 특성들 중에서 비슷한 것들을 하나로 모아주기 위해 k-means와 같은 군집(clustering) 방법을 사용한다. 군집의 센터점들에 코드워드(codeword)를 부여해주고, 코드워드들로 구성된 코드북(codebook)이 만들어진다. 코드북은 visual vocabulary로 불리기도 한다. 이 코드북이 몇 개의 코드워드로 구성될 지는 특성들을 몇 개의 클러스터로 군집시킬지에 따라 달라진다.
이렇게 코드북이 완성되면 각 이미지를 코드북을 이용해서 표현할 수 있게 된다. 이미지에서 도출된 특성들과 코드북의 코드워드들 중에서 가장 비슷한 것을 찾아준다. 한 이미지 특성이 코드워드1과 가장 유사하면 코드워드1 빈(bin)을 하나 채워준다. 이런식으로 이미지 내의 특성들을 코드워드들과 매칭해주면 히스토그램이 만들어진다. 히스토그램을 보면 각 이미지마다 어떤 코드워드들이 많이 포함되어 있는지를 알 수 있다.
이 코드북을 이용해서 코드북을 만들 때 사용되지 않았던 이미지의 히스토그램도 구할 수 있다. 우선 새 이미지에서 특성을 도출한 다음에 마찬가지로 그 특성들과 가장 유사한 코드워드들을 찾아줘서 히스토그램을 만들어준다.
이 테스트 이미지의 히스토그램을 코드북을 생산할 때 사용한 훈련 이미지들의 히스토그램과 비교함으로 테스트 이미지가 어떤 클래스에 속하는지를 분류해낼 수 있다. 이 경우에는 자전거 이미지의 히스토그램과 가장 유사함으로 자전거 클래스에 속한다고 판단할 수 있다.
img1.bmp, img2.bmp,..., img10.bmp 이미지들이 한 폴더에 들어있다고 가정해보자. 이 이미지들을 읽어서 어떠한 영상처리 작업을 시행하려고 한다. for문을 사용해서 img1.bmp부터 img10.bmp까지 읽어내려면 어떻게 해야할까? 아래와 같이 코드를 작성하면 된다.
이 .m 파일은 img1.bmp,..., img10.bmp와 같은 폴더 내에 들어있어야 한다.
여기서 가장 중요한 것은 바로 num2str 함수다. num2str함수는 이름에서도 알 수 있듯이 number to string, 즉 숫자형을 문자형으로 변환해준다. 따라서 for 문에 처음 들어섰을 때 i가 숫자형으로 1이었던 것을 문자형으로 바꿔서 '1'이 되게 한다. 그리고 그 다음 행에서 ['img', '1', '.bmp'] = 'img1.bmp'을 imread 함수가 읽어낸다.
이 방식은 상당히 유용하다. 아마도 영상처리를 하시는 분들이라면 자주 사용하고 계실 것이라 생각한다.
num2str과 정반대의 역할을 하는 함수는 str2num이다. string to number, 즉 문자형을 숫자형으로 변환해주는 것이다. 굳이 예제를 첨부하지는 않겠다.
이러다 몇 달 지나 조회수 폭증하는 거 아닌가요. 이런 토막 지식이나 팁 형식 글들이 은근 인기 많아서 구글 검색으로 사람들 잔뜩 들어오게 하더라고요. 그나저나 MATLAB 내장 함수인 것 같은데 어떻게 그런 작명을 떠올렸는지 이름이 신박하네요. numtostr이나 strtonum보다 확실히 더 잘 읽힐 거에요.
물체 검출(object detection)과 관련된 과제를 하면서 이미지에 바운딩 박스와 클래스 라벨을 부여할 일이 있어서 labelImg 프로그램을 사용하게 되었다. labelImg는 여기서 다운로드 받을 수 있다. https://github.com/tzutalin/labelImg
왜 matlab을 이용해서 파일을 복사하려고 하는지 묻는 사람이 있을 것 같다. 간단히 ctrl+c와 ctrl+v로 할 수 있지 않냐고. 맞다. 그것이 가장 간단한 방법이다. 하지만 여러 개의 파일을 복사하는데 만약 각 파일의 이름을 원하는 이름으로 바꾸면서 복사하고 싶다면 어떻게 해야할까? ctrl+c, ctrl+v로 할 수 있지만, 굉장히 번거로운 작업이 될 수 있다.
ex1.txt, ex2.txt,..., ex1000.txt와 같이 1000개의 메모장 파일이 있다고 가정해보자. 그런데 어떤 필요에 따라서 이름을 test1.txt, test2.txt,...,test1000.txt와 같이 변경해줘야 한다면?
복사붙여넣기로 이 작업을 수행한다면 아마도 1시간이 넘게 걸릴 것이다. 난 그렇게 단순노동을 반복하고 싶지 않다. copyfile 함수를 이용하면 쉽게 해결할 수 있다.
copyfile 함수 사용법
우선 단 하나의 메모장 파일을 복사하면서 이름을 바꿔주는 코드를 짜보자.
clc, clear, close all
copyfile('ex1.txt', 'test1.txt'); % ex1.txt를 복사하는데 이름은 test1.txt로 변경해줘.
ex1.txt 파일을 복사하면서 이름은 test1.txt이 되게 했다. 제대로 파일이 복사되었는지 확인해보자. 우선 같은 폴더에 test1.txt이 생성된 것을 확인할 수 있다.
그렇다면 내용이 잘 복사되었는지 확인해보자.
원하는 대로 잘 복사되었다.
그럼 이번에는 1000개의 메모장 파일을 복사하면서 이름을 바꿔주는 코드를 짜보자.
clc, clear, close all
for i = 1:1000
copyfile(['ex', num2str(i), '.txt'], ['test', num2str(i), '.txt']);
end
for문을 이용해서 1000번을 반복한다. num2str이라는 함수를 사용했는데 이 함수는 숫자를 문자로 바꿔주는 함수다. 따라서 i=1일때, ['ex', num2str(i), '.txt'] = ['ex', num2str(1), '.txt'] = ['ex', '1', '.txt'] = 'ex1.txt'가 된다. 결국 i=1일때는 copyfile('ex1.txt', 'test1.txt')이 되고, i=2일때 copyfile('ex2.txt', 'test2.txt')이 되고, i=1000일때는 copyfile('ex1000.txt', 'test1000.txt')이 된다.
이처럼 단 몇줄의 코드로 매우 귀찮을 수 있는 단순노동을 모면할 수 있다. 이것이 코딩의 묘미 아니겠는가?
물체 검출(object detection) 알고리즘의 성능은 precision-recall 곡선과 average precision(AP)로 평가하는 것이 대세다. 이에 대해서 이해하려고 한참을 구글링했지만 초보자가 이해하기에 적당한 문서는 찾기 쉽지 않았다. 거의 모든 문서들이 물체 검출 분야에 대한 선지식이 있어야만 이해할 수 있는 수준이었다.
여러 문서들에서 헤매다가 어렵게 이해한 내용들을 여기에 정리하려고 한다. 천천히 정독한다면 누구에게든 도움이 될 것이다. precision-recall 곡선과 AP를 이해하기 위해서는 우선 precision과 recall에 대한 지식이 필요하다.
Precision과 Recall
Precision은 한국어로 정밀도라고 불린다. precision은 모든 검출 결과 중 옳게 검출한 비율을 의미한다. 다음과 같이 식으로 나타낼 수 있다.
여기서 TP는 true positive의 약자로 '옳은 검출'을 의미하고, FP는 false positive의 약자로 '잘못된 검출'을 의미한다. 그러니까 Precision은 알고리즘이 검출해낸 것들 중에서 제대로 검출해낸 것의 비율을 의미하는 것이다. 예를 들어 알고리즘이 5개를 검출해냈는데(실제 몇 개의 물체가 검출되어야 하는지와 상관없이) 그 중 4개가 옳게 검출해낸 것이라면 Precision은 4/5 = 0.8이다.
Recall은 한국어로 재현율이라고 불린다. (왜 precision과 recall이 각각 정밀도와 재현율로 불리는지 이해하려고 하는 것보다 그냥 precision과 recall이 각각 무엇을 의미하는지를 이해하면 된다고 생각한다.) Recall은 마땅히 검출해내야하는 물체들 중에서 제대로 검출된 것의 비율을 의미한다. Recall을 구하는 공식을 살펴보자.
여기서 FN은 false nagative의 약자로 '검출되었어야 하는 물체인데 검출되지 않은 것'을 의미한다. 예를 들어, 라벨이 붙어있는 물체(즉, 마땅히 검출되어야 할 물체)가 10개인데 그 중 4개가 옳게 검출되었다면 recall은 4/10 = 0.4가 된다.
TP, FP, FN 그리고 설명하지 않은 TN(true negative)에 대해서 표로 정리해보았다.
TP, FP, FN, TN이란?
Precison만으로 물체 검출 알고리즘의 성능을 평가하는 것은 적절하지 않다. 또한 Recall만으로 성능을 평가하는 것도 적절하지 않다. 위에서 예시로 든 것처럼, 실제 검출되어야하는 물체가 10개인데 알고리즘이 검출해낸 물체는 5개이고 그 중 4개가 맞다고 가정해보자. 그러면 이때 Precision = 4/5 = 0.8이고, Recall = 4/10 = 0.4다. Precision으로 보면 성능이 좋아보이지만 Recall로 보면 성능이 그닥 좋지 않아보인다. 중요한 것은 Precision과 Recall은 항상 0과 1사이의 값으로 나오게 되는데, Precision이 높으면 Recall은 낮은 경향이 있고, Precision이 낮으면 Recall이 높은 경향이 있다는 것이다. 따라서 어느 한 값 만으로 알고리즘의 성능을 평가하는 것은 거의 불가능하고, 두 값을 종합해서 알고리즘의 성능을 평가해야 한다. 그래서 필요한 것이 precision-recall 곡선 및 AP이다. 이것들에 대해서는 밑에서 다루도록 하겠다.
그 전에 먼저 살펴봐야 할 것이 있다. 물체를 검출했을 때 옳게 검출되었다와 옳게 검출되지 않았다를 구분해주는 기준, 즉 TP(옳은 검출)와 FP(틀린 검출)를 결정해주는 기준은 무엇일까? 그 기준은 바로 intersection over union(IoU)이다.
Intersection over union (IoU)
아래와 같은 ground truth 바운더리 박스를 라벨로 가진 이미지가 있다고 가정해보자. ground truth 바운더리 박스는 마땅히 검출되어야 할 물체를 감싸고 있다.
ground truth 바운더리 박스
이 이미지의 ground truth 바운더리 박스가 주어지지 않은 상황에서 어떤 알고리즘에 의해 예측된 바운더리 박스가 다음과 같다고 가정해보자.
예측된 바운더리 박스
이런 상황에서 예측된 검출이 맞는지 틀린지를 어떻게 결정하면 좋겠는가? 이런 고민 끝에 나온 것이 바로 IoU이다. IoU는 예측된 바운더리 박스와 ground truth 바운더리 박스간 중첩되는 부분의 면적을 측정해서 중첩된 면적을 합집합의 면적으로 나눠준다. 아래 공식을 보자.
IoU 계산
이값이 0.5 이상이면 제대로 검출(TP)되었다고 판단한다. 반면 0.5 미만이면 잘못 검출(FP)되었다고 판단한다. (이 문턱값은 다른 값으로 설정될 수도 있다.) 꽤 합리적이지 않는가?
Precision-Recall 곡선
이제 Precision-recall 곡선(PR 곡선)을 다룰 준비가 되었다. PR 곡선은 confidence 레벨에 대한 threshold 값의 변화에 의한 물체 검출기의 성능을 평가하는 방법이다. confidence 레벨은 검출한 것에 대해 알고리즘이 얼마나 확신이 있는지를 알려주는 값이다. 만약에 어떤 물체를 검출했는데 confidence 레벨이 0.999라면 굉장히 큰 확신을 가지고 검출한 것이다.
알고리즘 曰 "이 검출은 거의 99.9% 정확해. 난 그렇게 생각해."
참고로 confidence 레벨이 높다고 해서 무조건 검출이 정확한 것은 아니다. 알고리즘 스스로 그런 느낌 또는 확신을 갖고 있는 것이다. confidence 레벨이 낮으면 그만큼 검출 결과에 대해서 자신이 없는 것이다. 따라서 알고리즘의 사용자는 보통 confidence 레벨에 대해 threshold 값을 부여해서 특정값 이상이 되어야 검출된 것으로 인정한다. threshold 값이 0.4라면 confidence 레벨로 0.1 또는 0.2를 갖고 있는 검출은 무시하는 것이다.
따라서 이 confidence 레벨에 대한 threshold 값의 변화에 따라 precision과 recall 값들도 달라질 것이다. 이것을 그래프로 나타낸 것이 바로 PR 곡선이다. 아마 무슨 말인지 잘 이해가 안되는 분들도 계실 것이다(어쩌면 그게 정상일 수도...). 하지만 좌절하지 말고 아래 예를 통해서 이해해보자.
15개의 얼굴이 존재하는 어떤 데이터셋에서 한 얼굴 검출(face detection) 알고리즘에 의해서 총 10개의 얼굴이 검출(confidence 레벨 0부터 100%까지 모두 고려했을 때)되었다고 가정해보자. 이때 각 검출의 confidence 레벨과 옳게 검출되었는지 잘못 검출되었는지에 대한 여부는 아래 표에 나타냈다. (TP는 옳은 검출, FP는 틀린 검출)
10개 중 7개가 제대로 검출되었고, 3개는 잘못 검출되었다. 이때 Precision = 옳게 검출된 얼굴 갯수/검출된 얼굴 갯수 = 7/10 = 0.7이 되고, Recall = 옳게 검출된 얼굴 갯수/실제 얼굴 갯수 = 7/15 = 0.47이 된다. 이것은 confidence 레벨이 13%와 같이 아주 낮더라도 검출해낸 것은 모두 인정했을 때의 결과이다.
이번에는 검출된 결과를 confidence 레벨에 따라 재정렬해보자.
confidence 레벨에 대한 threshold 값을 아주 엄격하게 적용해서 95%로 했다면, 하나만 검출한 것으로 판단할 것이고, 이때 Precision = 1/1 = 1, Recall = 1/15 = 0.067이 된다. threshold 값을 91%로 했다면, 두 개가 검출된 것으로 판단할 것이고, 이때 Precision = 2/2 = 1, Recall = 2/15 = 0.13이 된다. threshold 값을 검출들의 confidence 레벨에 맞춰 낮춰가면 다음과 같이 precision과 recall이 계산될 것이다.
이 Precision값들과 Recall값들을 아래와 같이 그래프로 나타내면 그것이 바로 PR 곡선이다.
PR 곡선에서 x축은 recall 값이고, y축은 precision값이다. 즉, PR 곡선에서는 recall 값의 변화에 따른 precision값을 확인할 수 있다.
Average Precision (AP)
PR 곡선은 성능을 평가하는데 매우 좋은 방법이긴 하지만 단 하나의 숫자로 성능을 평가할 수 있다면 훨씬 더 좋을 것이다. 그래서 나온 것이 AP이다. AP는 precision-recall 그래프에서 그래프 선 아래쪽의 면적으로 계산된다.
그런데 보통 계산 전에 AP 곡선을 살짝 손봐준다. PR 곡선을 단조적으로 감소하는 그래프가 되게 하기 위해서 다음과 같이 바꿔준다.
이렇게 바꾼 다음에 그래프 선 아래의 넓이를 계산함으로 AP를 구한다. 이 경우 AP = 왼쪽 큰 사각형의 넓이 + 오른쪽 작은 사각형의 넓이 = 1*0.33 + 0.88*(0.47-0.33) = 0.4532가 된다.
컴퓨터 비전 분야에서 물체 검출 및 이미지 분류 알고리즘의 성능은 대부분 이 AP로 평가한다. 물체 클래스가 여러 개인 경우 각 클래스당 AP를 구한 다음에 그것을 모두 합한 다음에 물체 클래스의 갯수로 나눠줌으로 알고리즘의 성능을 평가한다. 이것을 mAP(mean average precision)라고 한다. mAP를 구하는 잘 작동하는 파이썬 코드는 여기서 다운받을 수 있다. https://github.com/Cartucho/mAP
누군가에게 도움이 되셨길 바라며 글을 마칩니다. 끝까지 읽어주셔서 감사합니다! 질문은 항상 환영합니다.
'컴퓨터 비전(computer vision)'은 말 그대로 컴퓨터가 보는 것이다. 원래 보는 것은 전적으로 사람과 동물들만이 할 수 있는 일이다. 우리는 매일 수많은 장면을 보면서 삶에 필요한 정보들을 얻는다. 또한 위험을 감지하고 피하기도 한다. 이러한 능력을 컴퓨터에게 부여하는 것이 바로 컴퓨터 비전이다.
컴퓨터 비전 분야가 발전하면서 각 연구팀이 개발한 알고리즘을 겨루는 대회들이 생겨나기 시작했다. 얼마나 사람의 능력과 비슷하게 보는지, 더 나아가 사람보다 더 잘 볼 수는 없는지에 대해서 각 알고리즘의 성능을 평가하는 대회이다.
오늘은 컴퓨터 비전 관련 대회들을 정리하려고 한다. 대표적인 대회는 PASCAL VOC Challenge, COCO Detection Challenge, Google Open Images Dataset V4 Competition, ImageNet Object Localization Challenge 등이 있다. 각 대회에서 어떤 주제로 경연을 펼치는지에 대해 살펴보자.
VOC 대회는 2005년에 시작해서 2012년에 종료되었다. VOC2012를 기준으로 설명하겠다. 총 6개의 과제(task)를 놓고 경연이 펼쳐졌다.
1) Classification task
테스트 이미지를 보고 이미지가 어느 물체 클래스에 속하는지 분류해야한다. 테스트 이미지 내의 어떤 한 물체의 존재를 예측했다면 예측을 성공한 것으로 여긴다. 총 20개 물체 클래스에 대해 물체를 얼마나 정확히 분류해내는가를 확인한다. 성능은 precision-recall 곡선과 average precision(AP)로 평가된다.
2) Detection task
테스트 이미지를 보고 20개 물체 클래스에 속하는 물체들의 바운딩 박스들을 예측해야 한다. 성능은 역시 precision-recall 곡선과 AP로 평가된다.
3) Segmentation task
테스트 이미지의 각 픽셀이 어느 물체 클래스에 속하는지를 예측하는 과제이다. 총 20개의 물체 클래스가 있다. 배경(background)은 20개의 물체 클래스에 해당되지 않는다. 배경까지 포함하면 총 21개의 클래스로 분할해내는 것이 목적이라고 볼 수 있다.
4) Action classification task
정지 이미지에서 사람의 동작을 예측하는 과제이다. 총 10개의 동작 클래스가 존재한다. 어떤 동작을 하고 있는 사람을 바운딩박스로 가리켜줘야 한다. 성능은 역시 precision-recall 곡선과 AP로 평가된다.
5) Boxless action classification taster
Action classification task와 거의 동일한데, 바운딩 박스 대신에 동작을 하고 있는 신체 중 한 부위의 위치를 찾아내면 된다.
6) Person layout taster
테스트 이미지 내에 있는 사람의 신체 부위들을 바운딩 박스로 검출해주면서 그 부위들이 손인지, 머리인지, 다리인지 예측해내는 과제이다. 성능은 역시 precision-recall 곡선과 AP로 평가된다.
COCO Object Detection Task는 Joint COCO and Mapillary Recognition Challenge Workshop의 한 파트다. COCO 데이터셋은 20만장 이상의 이미지와 80개 물체 클래스를 포함하고 있다. 2015년에 시작해서 2018년까지 대회가 진행되었다. 아마 올해(2019년)도 진행되지 않을까?
