img1.bmp, img2.bmp,..., img10.bmp 이미지들이 한 폴더에 들어있다고 가정해보자. 이 이미지들을 읽어서 어떠한 영상처리 작업을 시행하려고 한다. for문을 사용해서 img1.bmp부터 img10.bmp까지 읽어내려면 어떻게 해야할까? 아래와 같이 코드를 작성하면 된다.
이 .m 파일은 img1.bmp,..., img10.bmp와 같은 폴더 내에 들어있어야 한다.
여기서 가장 중요한 것은 바로 num2str 함수다. num2str함수는 이름에서도 알 수 있듯이 number to string, 즉 숫자형을 문자형으로 변환해준다. 따라서 for 문에 처음 들어섰을 때 i가 숫자형으로 1이었던 것을 문자형으로 바꿔서 '1'이 되게 한다. 그리고 그 다음 행에서 ['img', '1', '.bmp'] = 'img1.bmp'을 imread 함수가 읽어낸다.
이 방식은 상당히 유용하다. 아마도 영상처리를 하시는 분들이라면 자주 사용하고 계실 것이라 생각한다.
num2str과 정반대의 역할을 하는 함수는 str2num이다. string to number, 즉 문자형을 숫자형으로 변환해주는 것이다. 굳이 예제를 첨부하지는 않겠다.
이러다 몇 달 지나 조회수 폭증하는 거 아닌가요. 이런 토막 지식이나 팁 형식 글들이 은근 인기 많아서 구글 검색으로 사람들 잔뜩 들어오게 하더라고요. 그나저나 MATLAB 내장 함수인 것 같은데 어떻게 그런 작명을 떠올렸는지 이름이 신박하네요. numtostr이나 strtonum보다 확실히 더 잘 읽힐 거에요.
물체 검출(object detection)과 관련된 과제를 하면서 이미지에 바운딩 박스와 클래스 라벨을 부여할 일이 있어서 labelImg 프로그램을 사용하게 되었다. labelImg는 여기서 다운로드 받을 수 있다. https://github.com/tzutalin/labelImg
왜 matlab을 이용해서 파일을 복사하려고 하는지 묻는 사람이 있을 것 같다. 간단히 ctrl+c와 ctrl+v로 할 수 있지 않냐고. 맞다. 그것이 가장 간단한 방법이다. 하지만 여러 개의 파일을 복사하는데 만약 각 파일의 이름을 원하는 이름으로 바꾸면서 복사하고 싶다면 어떻게 해야할까? ctrl+c, ctrl+v로 할 수 있지만, 굉장히 번거로운 작업이 될 수 있다.
ex1.txt, ex2.txt,..., ex1000.txt와 같이 1000개의 메모장 파일이 있다고 가정해보자. 그런데 어떤 필요에 따라서 이름을 test1.txt, test2.txt,...,test1000.txt와 같이 변경해줘야 한다면?
복사붙여넣기로 이 작업을 수행한다면 아마도 1시간이 넘게 걸릴 것이다. 난 그렇게 단순노동을 반복하고 싶지 않다. copyfile 함수를 이용하면 쉽게 해결할 수 있다.
copyfile 함수 사용법
우선 단 하나의 메모장 파일을 복사하면서 이름을 바꿔주는 코드를 짜보자.
clc, clear, close all
copyfile('ex1.txt', 'test1.txt'); % ex1.txt를 복사하는데 이름은 test1.txt로 변경해줘.
ex1.txt 파일을 복사하면서 이름은 test1.txt이 되게 했다. 제대로 파일이 복사되었는지 확인해보자. 우선 같은 폴더에 test1.txt이 생성된 것을 확인할 수 있다.
그렇다면 내용이 잘 복사되었는지 확인해보자.
원하는 대로 잘 복사되었다.
그럼 이번에는 1000개의 메모장 파일을 복사하면서 이름을 바꿔주는 코드를 짜보자.
clc, clear, close all
for i = 1:1000
copyfile(['ex', num2str(i), '.txt'], ['test', num2str(i), '.txt']);
end
for문을 이용해서 1000번을 반복한다. num2str이라는 함수를 사용했는데 이 함수는 숫자를 문자로 바꿔주는 함수다. 따라서 i=1일때, ['ex', num2str(i), '.txt'] = ['ex', num2str(1), '.txt'] = ['ex', '1', '.txt'] = 'ex1.txt'가 된다. 결국 i=1일때는 copyfile('ex1.txt', 'test1.txt')이 되고, i=2일때 copyfile('ex2.txt', 'test2.txt')이 되고, i=1000일때는 copyfile('ex1000.txt', 'test1000.txt')이 된다.
이처럼 단 몇줄의 코드로 매우 귀찮을 수 있는 단순노동을 모면할 수 있다. 이것이 코딩의 묘미 아니겠는가?
물체 검출(object detection) 알고리즘의 성능은 precision-recall 곡선과 average precision(AP)로 평가하는 것이 대세다. 이에 대해서 이해하려고 한참을 구글링했지만 초보자가 이해하기에 적당한 문서는 찾기 쉽지 않았다. 거의 모든 문서들이 물체 검출 분야에 대한 선지식이 있어야만 이해할 수 있는 수준이었다.
여러 문서들에서 헤매다가 어렵게 이해한 내용들을 여기에 정리하려고 한다. 천천히 정독한다면 누구에게든 도움이 될 것이다. precision-recall 곡선과 AP를 이해하기 위해서는 우선 precision과 recall에 대한 지식이 필요하다.
Precision과 Recall
Precision은 한국어로 정밀도라고 불린다. precision은 모든 검출 결과 중 옳게 검출한 비율을 의미한다. 다음과 같이 식으로 나타낼 수 있다.
여기서 TP는 true positive의 약자로 '옳은 검출'을 의미하고, FP는 false positive의 약자로 '잘못된 검출'을 의미한다. 그러니까 Precision은 알고리즘이 검출해낸 것들 중에서 제대로 검출해낸 것의 비율을 의미하는 것이다. 예를 들어 알고리즘이 5개를 검출해냈는데(실제 몇 개의 물체가 검출되어야 하는지와 상관없이) 그 중 4개가 옳게 검출해낸 것이라면 Precision은 4/5 = 0.8이다.
Recall은 한국어로 재현율이라고 불린다. (왜 precision과 recall이 각각 정밀도와 재현율로 불리는지 이해하려고 하는 것보다 그냥 precision과 recall이 각각 무엇을 의미하는지를 이해하면 된다고 생각한다.) Recall은 마땅히 검출해내야하는 물체들 중에서 제대로 검출된 것의 비율을 의미한다. Recall을 구하는 공식을 살펴보자.
여기서 FN은 false nagative의 약자로 '검출되었어야 하는 물체인데 검출되지 않은 것'을 의미한다. 예를 들어, 라벨이 붙어있는 물체(즉, 마땅히 검출되어야 할 물체)가 10개인데 그 중 4개가 옳게 검출되었다면 recall은 4/10 = 0.4가 된다.
TP, FP, FN 그리고 설명하지 않은 TN(true negative)에 대해서 표로 정리해보았다.
TP, FP, FN, TN이란?
Precison만으로 물체 검출 알고리즘의 성능을 평가하는 것은 적절하지 않다. 또한 Recall만으로 성능을 평가하는 것도 적절하지 않다. 위에서 예시로 든 것처럼, 실제 검출되어야하는 물체가 10개인데 알고리즘이 검출해낸 물체는 5개이고 그 중 4개가 맞다고 가정해보자. 그러면 이때 Precision = 4/5 = 0.8이고, Recall = 4/10 = 0.4다. Precision으로 보면 성능이 좋아보이지만 Recall로 보면 성능이 그닥 좋지 않아보인다. 중요한 것은 Precision과 Recall은 항상 0과 1사이의 값으로 나오게 되는데, Precision이 높으면 Recall은 낮은 경향이 있고, Precision이 낮으면 Recall이 높은 경향이 있다는 것이다. 따라서 어느 한 값 만으로 알고리즘의 성능을 평가하는 것은 거의 불가능하고, 두 값을 종합해서 알고리즘의 성능을 평가해야 한다. 그래서 필요한 것이 precision-recall 곡선 및 AP이다. 이것들에 대해서는 밑에서 다루도록 하겠다.
그 전에 먼저 살펴봐야 할 것이 있다. 물체를 검출했을 때 옳게 검출되었다와 옳게 검출되지 않았다를 구분해주는 기준, 즉 TP(옳은 검출)와 FP(틀린 검출)를 결정해주는 기준은 무엇일까? 그 기준은 바로 intersection over union(IoU)이다.
Intersection over union (IoU)
아래와 같은 ground truth 바운더리 박스를 라벨로 가진 이미지가 있다고 가정해보자. ground truth 바운더리 박스는 마땅히 검출되어야 할 물체를 감싸고 있다.
ground truth 바운더리 박스
이 이미지의 ground truth 바운더리 박스가 주어지지 않은 상황에서 어떤 알고리즘에 의해 예측된 바운더리 박스가 다음과 같다고 가정해보자.
예측된 바운더리 박스
이런 상황에서 예측된 검출이 맞는지 틀린지를 어떻게 결정하면 좋겠는가? 이런 고민 끝에 나온 것이 바로 IoU이다. IoU는 예측된 바운더리 박스와 ground truth 바운더리 박스간 중첩되는 부분의 면적을 측정해서 중첩된 면적을 합집합의 면적으로 나눠준다. 아래 공식을 보자.
IoU 계산
이값이 0.5 이상이면 제대로 검출(TP)되었다고 판단한다. 반면 0.5 미만이면 잘못 검출(FP)되었다고 판단한다. (이 문턱값은 다른 값으로 설정될 수도 있다.) 꽤 합리적이지 않는가?
Precision-Recall 곡선
이제 Precision-recall 곡선(PR 곡선)을 다룰 준비가 되었다. PR 곡선은 confidence 레벨에 대한 threshold 값의 변화에 의한 물체 검출기의 성능을 평가하는 방법이다. confidence 레벨은 검출한 것에 대해 알고리즘이 얼마나 확신이 있는지를 알려주는 값이다. 만약에 어떤 물체를 검출했는데 confidence 레벨이 0.999라면 굉장히 큰 확신을 가지고 검출한 것이다.
알고리즘 曰 "이 검출은 거의 99.9% 정확해. 난 그렇게 생각해."
참고로 confidence 레벨이 높다고 해서 무조건 검출이 정확한 것은 아니다. 알고리즘 스스로 그런 느낌 또는 확신을 갖고 있는 것이다. confidence 레벨이 낮으면 그만큼 검출 결과에 대해서 자신이 없는 것이다. 따라서 알고리즘의 사용자는 보통 confidence 레벨에 대해 threshold 값을 부여해서 특정값 이상이 되어야 검출된 것으로 인정한다. threshold 값이 0.4라면 confidence 레벨로 0.1 또는 0.2를 갖고 있는 검출은 무시하는 것이다.
따라서 이 confidence 레벨에 대한 threshold 값의 변화에 따라 precision과 recall 값들도 달라질 것이다. 이것을 그래프로 나타낸 것이 바로 PR 곡선이다. 아마 무슨 말인지 잘 이해가 안되는 분들도 계실 것이다(어쩌면 그게 정상일 수도...). 하지만 좌절하지 말고 아래 예를 통해서 이해해보자.
15개의 얼굴이 존재하는 어떤 데이터셋에서 한 얼굴 검출(face detection) 알고리즘에 의해서 총 10개의 얼굴이 검출(confidence 레벨 0부터 100%까지 모두 고려했을 때)되었다고 가정해보자. 이때 각 검출의 confidence 레벨과 옳게 검출되었는지 잘못 검출되었는지에 대한 여부는 아래 표에 나타냈다. (TP는 옳은 검출, FP는 틀린 검출)
10개 중 7개가 제대로 검출되었고, 3개는 잘못 검출되었다. 이때 Precision = 옳게 검출된 얼굴 갯수/검출된 얼굴 갯수 = 7/10 = 0.7이 되고, Recall = 옳게 검출된 얼굴 갯수/실제 얼굴 갯수 = 7/15 = 0.47이 된다. 이것은 confidence 레벨이 13%와 같이 아주 낮더라도 검출해낸 것은 모두 인정했을 때의 결과이다.
이번에는 검출된 결과를 confidence 레벨에 따라 재정렬해보자.
confidence 레벨에 대한 threshold 값을 아주 엄격하게 적용해서 95%로 했다면, 하나만 검출한 것으로 판단할 것이고, 이때 Precision = 1/1 = 1, Recall = 1/15 = 0.067이 된다. threshold 값을 91%로 했다면, 두 개가 검출된 것으로 판단할 것이고, 이때 Precision = 2/2 = 1, Recall = 2/15 = 0.13이 된다. threshold 값을 검출들의 confidence 레벨에 맞춰 낮춰가면 다음과 같이 precision과 recall이 계산될 것이다.
이 Precision값들과 Recall값들을 아래와 같이 그래프로 나타내면 그것이 바로 PR 곡선이다.
PR 곡선에서 x축은 recall 값이고, y축은 precision값이다. 즉, PR 곡선에서는 recall 값의 변화에 따른 precision값을 확인할 수 있다.
Average Precision (AP)
PR 곡선은 성능을 평가하는데 매우 좋은 방법이긴 하지만 단 하나의 숫자로 성능을 평가할 수 있다면 훨씬 더 좋을 것이다. 그래서 나온 것이 AP이다. AP는 precision-recall 그래프에서 그래프 선 아래쪽의 면적으로 계산된다.
그런데 보통 계산 전에 AP 곡선을 살짝 손봐준다. PR 곡선을 단조적으로 감소하는 그래프가 되게 하기 위해서 다음과 같이 바꿔준다.
이렇게 바꾼 다음에 그래프 선 아래의 넓이를 계산함으로 AP를 구한다. 이 경우 AP = 왼쪽 큰 사각형의 넓이 + 오른쪽 작은 사각형의 넓이 = 1*0.33 + 0.88*(0.47-0.33) = 0.4532가 된다.
컴퓨터 비전 분야에서 물체 검출 및 이미지 분류 알고리즘의 성능은 대부분 이 AP로 평가한다. 물체 클래스가 여러 개인 경우 각 클래스당 AP를 구한 다음에 그것을 모두 합한 다음에 물체 클래스의 갯수로 나눠줌으로 알고리즘의 성능을 평가한다. 이것을 mAP(mean average precision)라고 한다. mAP를 구하는 잘 작동하는 파이썬 코드는 여기서 다운받을 수 있다. https://github.com/Cartucho/mAP
누군가에게 도움이 되셨길 바라며 글을 마칩니다. 끝까지 읽어주셔서 감사합니다! 질문은 항상 환영합니다.
'컴퓨터 비전(computer vision)'은 말 그대로 컴퓨터가 보는 것이다. 원래 보는 것은 전적으로 사람과 동물들만이 할 수 있는 일이다. 우리는 매일 수많은 장면을 보면서 삶에 필요한 정보들을 얻는다. 또한 위험을 감지하고 피하기도 한다. 이러한 능력을 컴퓨터에게 부여하는 것이 바로 컴퓨터 비전이다.
컴퓨터 비전 분야가 발전하면서 각 연구팀이 개발한 알고리즘을 겨루는 대회들이 생겨나기 시작했다. 얼마나 사람의 능력과 비슷하게 보는지, 더 나아가 사람보다 더 잘 볼 수는 없는지에 대해서 각 알고리즘의 성능을 평가하는 대회이다.
오늘은 컴퓨터 비전 관련 대회들을 정리하려고 한다. 대표적인 대회는 PASCAL VOC Challenge, COCO Detection Challenge, Google Open Images Dataset V4 Competition, ImageNet Object Localization Challenge 등이 있다. 각 대회에서 어떤 주제로 경연을 펼치는지에 대해 살펴보자.
VOC 대회는 2005년에 시작해서 2012년에 종료되었다. VOC2012를 기준으로 설명하겠다. 총 6개의 과제(task)를 놓고 경연이 펼쳐졌다.
1) Classification task
테스트 이미지를 보고 이미지가 어느 물체 클래스에 속하는지 분류해야한다. 테스트 이미지 내의 어떤 한 물체의 존재를 예측했다면 예측을 성공한 것으로 여긴다. 총 20개 물체 클래스에 대해 물체를 얼마나 정확히 분류해내는가를 확인한다. 성능은 precision-recall 곡선과 average precision(AP)로 평가된다.
2) Detection task
테스트 이미지를 보고 20개 물체 클래스에 속하는 물체들의 바운딩 박스들을 예측해야 한다. 성능은 역시 precision-recall 곡선과 AP로 평가된다.
3) Segmentation task
테스트 이미지의 각 픽셀이 어느 물체 클래스에 속하는지를 예측하는 과제이다. 총 20개의 물체 클래스가 있다. 배경(background)은 20개의 물체 클래스에 해당되지 않는다. 배경까지 포함하면 총 21개의 클래스로 분할해내는 것이 목적이라고 볼 수 있다.
4) Action classification task
정지 이미지에서 사람의 동작을 예측하는 과제이다. 총 10개의 동작 클래스가 존재한다. 어떤 동작을 하고 있는 사람을 바운딩박스로 가리켜줘야 한다. 성능은 역시 precision-recall 곡선과 AP로 평가된다.
5) Boxless action classification taster
Action classification task와 거의 동일한데, 바운딩 박스 대신에 동작을 하고 있는 신체 중 한 부위의 위치를 찾아내면 된다.
6) Person layout taster
테스트 이미지 내에 있는 사람의 신체 부위들을 바운딩 박스로 검출해주면서 그 부위들이 손인지, 머리인지, 다리인지 예측해내는 과제이다. 성능은 역시 precision-recall 곡선과 AP로 평가된다.
COCO Object Detection Task는 Joint COCO and Mapillary Recognition Challenge Workshop의 한 파트다. COCO 데이터셋은 20만장 이상의 이미지와 80개 물체 클래스를 포함하고 있다. 2015년에 시작해서 2018년까지 대회가 진행되었다. 아마 올해(2019년)도 진행되지 않을까?
일변량 정규분포(univariate normal distribution), 즉 변수가 하나인 정규분포를 변수가 여러 개인 경우로 일반화한 것이 바로 다변량 정규분포(multivariate normal distribution)이다.
그러면 일변량 정규분포부터 이변량 정규분포, 그리고 다변량 정규분포의 확률밀도함수(probability density function, PDF)들의 공식에 대해서 정리해보자.
일변량 정규분포의 확률밀도함수
가장 익숙한 확률변수가 하나인 경우를 먼저 살펴보자. 일변량 정규분포의 PDF의 공식은 다음과 같다.
여기서 생각해볼만한 것은
의 물리적 의미이다. 이것은 x에서 사이의 통계적 거리(statistical distance)의 제곱을 의미한다. 즉, x가 평균에서 가까울수록 통계적거리는 짧아지고, 에 가까워지므로 일변량 정규분포의 PDF 값은 최대에 가까워지는 것이다. 반면 x가 평균에서 멀면 통계적거리는 그만큼 길어지고, 일변량 정규분포의 PDF 값은 0에 가까워진다. 이런 이유로 정규분포의 PDF는 결국 종모양과 같은 형태의 그래프를 갖게 된다.
평균이 0이고, 표준편차가 1인 일변량 정규분포의 PDF의 그래프는 다음과 같다.
일변량 정규분포의 PDF
위 그래프는 MATLAB에서 다음과 같은 코드로 작성했다.
clc, clear, close all
x = -10:0.1:10;
mu = 0; % 평균
sigma = 1; % 표준편차
y = normpdf(x, mu, sigma); % 일변량정규분포의 확률밀도함수
plot(x, y);
xlabel('x');
ylabel('y');
title('univariate pdf');
이변량 정규분포의 확률밀도함수
이제 확률변수가 두 개인 경우를 살펴보자. 확률변수들 을 담은 확률벡터 X는 다음과 같다.
이 확률벡터의 평균벡터(mean vector)와 공분산행렬(covariance matrix)는 각각 다음과 같이 표기할 수 있다.
이때 이변량 정규분포의 PDF는 다음과 같은 공식으로 표현할 수 있다.
여기서 은 절대값을 나타내는 것이 아니라 행렬식(determinant)임을 주의하자. 일변량 정규분포의 PDF에서와 같이
는 x와 사이의 통계적 거리의 제곱을 나타낸다. 이변량의 경우로 쓰인 것일뿐 의미적 차이는 없다.
평균벡터가 [0; 0]이고 공분산행렬이 [0.25 0.3; 0.3 1]인 이변량 정규분포의 PDF의 그래프는 다음과 같이 그려진다.
이변량 정규분포의 PDF
위 그래프는 아래와 같은 MATLAB 코드로 구현된 것이다.
clc, clear, close all
x1 = -5:0.1:5;
x2 = -5:0.1:5;
[X1, X2] = meshgrid(x1, x2);
X = [X1(:) X2(:)];
mu = [0 0]; % 평균벡터
sigma = [0.25 0.3; 0.3 1]; %공분산행렬
y = mvnpdf(X, mu, sigma); %다변량 pdf
y = reshape(y, length(x2), length(x1));
surf(x1, x2, y)
xlabel('x1');
ylabel('x2');
zlabel('y');
title('bivariate pdf');
다변량 정규분포의 확률밀도함수
이제 확률변수가 2개가 넘어서 p개인 다변량 정규분포를 살펴보자. p개의 확률변수들을 담은 확률벡터 X는 다음과 같다.
이 확률벡터의 평균벡터와 공분산행렬는 각각 다음과 같이 표기할 수 있다.
이때 다변량 정규분포의 PDF는 다음과 같은 공식으로 표현할 수 있다.
p차원의 정규분포는 간략히 로 나타낸다. 만약에 4차원 확률벡터 X가 정규분포를 따르면 로 표기한다. 다변량 정규분포의 PDF의 그래프는 4차원이 되기 때문에 그릴 수 없다. 3차원을 초과하는 공간은 현실적으로 표현이 불가능하기 때문이다.
두 개의 이산확률변수 X, Y가 있다고 가정하자. 결합확률분포(또는 결합확률질량함수)가 다음과 같이 주어졌을 때 X, Y의 공분산과 상관계수를 구해보자.
이산확률변수 X와 Y의 결합확률분포표
공분산 구하기
공분산은 다음과 같이 구할 수 있다.
여기서 잠깐, 공분산을 구하려면 위 공식에서 보듯이 먼저 X의 평균 과 Y의 평균 을 먼저 구해야 한다. 결합확률분포표가 주어졌을 때는 가장 오른쪽 열과 가장 아래쪽 열에 있는 주변확률분포들 을 이용해서 X와 Y의 평균을 구할 수 있다.
이제 공분산을 계속해서 구해보자. (공식 작성 프로그램이 자꾸 에러가 나서 손으로 썼다.ㅜㅜ)
부호가 마이너스이므로 음의 선형 연관성을 갖고 있다고 볼 수 있지만 그 세기가 어느 정도인지 판별하기는 어렵다. 그래서 상관계수를 구해준다. 상관계수는 -1과 1사이의 실수로 선형 연관성의 정도를 알 수 있게 해주기 때문이다.
상관계수 구하기
상관계수를 구하는 공식은 다음과 같다.
공식을 보면 X와 Y의 공분산뿐만 아니라 X와 Y의 분산 도 필요함을 알 수 있다. 따라서 각각 구하면 다음과 같다.
자 이제 다음과 같이 X와 Y의 상관계수를 구할 수 있다.
상관계수가 -0.2408이므로 X와 Y는 약한 음의 선형 연관성을 갖고 있다고 판단할 수 있다. 절대값이 1에 가까울수록 강한 선형관계를 갖고 있는 것이다. 공분산과 달리 상관계수는 값이 -1과 1사이로 표준화되었기 때문에 선형 연관성의 강도를 판단하는데 있어서 지표로 사용될 수 있다.
2019.04.17 01:27 신고
이러다 몇 달 지나 조회수 폭증하는 거 아닌가요. 이런 토막 지식이나 팁 형식 글들이 은근 인기 많아서 구글 검색으로 사람들 잔뜩 들어오게 하더라고요. 그나저나 MATLAB 내장 함수인 것 같은데 어떻게 그런 작명을 떠올렸는지 이름이 신박하네요. numtostr이나 strtonum보다 확실히 더 잘 읽힐 거에요.
2019.04.17 09:58 신고
num2str, str2num가 MATLAB 내장 함수의 이름이에요 ㅋㅋ MATLAB 함수 개발자분들께 영광을..ㅎㅎ