좋은 데이터베이스는 좋은 알고리즘을 개발하는데 있어 선제조건이다. 이미지 품질 평가(IQA) 분야도 마찬가지다. 현실을 잘 반영하는 좋은 데이터베이스가 없다면 좋은 알고리즘을 만들기가 사실상 불가능하다. 오늘은 2D 이미지 품질 평가와 관련된 대표적인 데이터베이스들을 소개하려고 한다.
LIVE Image Quality Assessment Database
텍사스 대학의 LIVE 연구실에서 만든 2D IQA 데이터베이스다. LIVE 데이터베이스는 여기서 다운로드 받을 수 있다.
사실상 2D IQA 분야에서 가장 영향력이 있는, 가장 일반적으로 활용되는 데이터베이스다. LIVE 데이터베이스는 20장의 원본 이미지에서 만들어진 779장의 왜곡 이미지와 각 이미지에 해당하는 ground-truth 품질 점수를 제공한다.
이미지는 다음과 같은 5개 유형의 왜곡들로 손상되었다: JPEG2000(169장) + JPEG(175장) + white noise(145장) + Gaussian blur(145장) + fast fading Rayleigh channel(145장) = 총 779장의 왜곡 이미지
JPEG2000=> 1:169
JPEG=> 170:344
white noise=> 345:489
Gaussian blur=> 490:634
Fast fading Rayleigh channel=> 635:779
CSIQ Image Quality Database
시즈오카 대학의 CSIQ 연구실에서 만든 데이터베이스다. CSIQ 데이터베이스는 이곳에서 다운로드 받을 수 있다.
CSIQ 데이터베이스는 30장의 원본 이미지에서 생산된 866장의 왜곡 이미지들과 각 왜곡 이미지에 해당하는 ground-truth 품질 점수를 제공한다.
이미지는 다음과 같이 6개 유형의 왜곡들로 손상되었다: additive white Gaussian noise(150장) + JPEG(150장) + JPEG2000(150장) + additive pink Gaussian noise(150장) + Gaussian blur(150장) + global contrast decrement(116장) = 총 866장의 왜곡 이미지
additive white Gaussian noise=> 1:150
JPEG=> 151:300
JPEG2000=> 301:450
additive pink Gaussian noise=> 451:600
Gaussian blur=> 601:750
global contrast decrement=> 751:866
Color Image Database TID2013
핀란드의 탐페레 대학의 선임 연구원이자 우크라이나 국립항공대의 교수인 Mykola Ponomarenko가 만든 데이터베이스다. TID2013 데이터베이스는 여기서 다운로드 받을 수 있다.
현존하는 2D IQA 데이터베이스 중에 가장 많은 왜곡 이미지와 가장 다양한 왜곡을 다루고 있는 데이터베이스다. TID2013 데이터베이스는 25장의 원본이미지로부터 생산된 3000장의 왜곡 이미지와 각 왜곡 이미지에 대한 ground-truth 품질 점수를 포함하고 있다.
이미지는 다음과 같은 24개 유형의 왜곡들로 손상되었다:
1. Additive Gaussian noise
2. Additive noise in color components is more intensive than additive noise in the luminance component
3. Spatially correlated noise
4. Masked noise
5. High frequency noise
6. Impulse noise
7. Quantization noise
8. Gaussian blur
9. Image denoising
10. JPEG compression
11. JPEG2000 compression
12. JPEG transmission errors
13. JPEG2000 transmission errors
14. Non eccentricity pattern noise
15. Local block-wise distortions of different intensity
16. Mean shift (intensity shift)
17. Contrast change
18. Change of color saturation
19. Multiplicative Gaussian noise
20. Comfort noise
21. Lossy compression of noisy images
22. Image color quantization with dither
23. Chromatic aberrations
24. Sparse sampling and reconstruction
=> 25개 원본 이미지 x 24개 왜곡 유형 x 5 정도 왜곡 수준 = 3000장의 왜곡 이미지
나는 이 학생들이 이과 쪽이 적성에 맞을지, 문과 쪽이 적성에 맞을지 한명 한명 판단하고 싶다. 수학과 과학 점수가 좋다면 이과로 진학하는 것이 좋을 것이고, 영어와 국어 점수가 좋다면 문과로 진학하는 것이 좋을 것이다. 하지만 각 과목당 시험의 난이도가 다르기 때문에 단순히 점수만을 봐서는 이 학생이 어느 과목을 더 잘하는지 제대로 판단하기 어렵다. 그래서 수학, 영어, 국어, 과학 점수를 각각 표준화해준다. 표준화라는 것은 원래 값에 평균값을 빼준 것을 표준편차로 나눠주는 것을 의미한다. 다음 공식을 참고하자.
$z = \frac{x - \mu}{\sigma}$ ... (공식 1)
결과적으로 표준화된 값들의 평균은 0이고 표준편차는 1이 된다. 이때 사용할 수 있는 매틀랩 함수는 바로 zscore이다. 표준화를 해주면 난이도가 다른 각 과목의 점수들을 상대적으로 평가할 수 있게 된다.
표준화한 점수들을 아래 그래프에 그려보았다.
각 과목당 평균 점수는 0이 되었고, 표준편차는 1이 되었다. 표준화된 z-점수는 각 시험의 난이도를 고려한 점수라고 볼 수 있겠다.
이제 이 그래프를 참고해서 학생들을 진학상담을 해주자.
"학생1아, 너는 과학과 수학을 비교적 잘하는구나. 이과 가는거 어떠니?"
"학생2야, 너는 국어, 과학, 영어, 수학 순으로 잘하는구나. 명확하진 않은데, 그래도 국어와 영어는 평균 이상의 실력이 되니 문과 가는거 어떨까?"
"학생3아, 너는 영어와 국어는 상당히 잘하는 반면에, 수학과 과학은 좀 많이 못하는구나. 문과 가야겠네."
...
"학생10아, 너는 다 평균 이상은 하는구나. 국어를 제일 잘하긴 하다면, 다른 과목 성적들과 큰 차이 없으니 알아서 잘 결정하도록 하거라."
이런 식으로 진학상담을 해줄 수 있을 것이다. 진학상담 문제를 매우 단순화시켰지만, 도움은 될 거라고 생각한다. 왜냐하면 꽤 많은 학생들이 자신이 시험에서 받은 점수만을 보고 자신이 어떤 과목을 더 잘하는지 판단하곤 하기 때문이다.
사용된 MATLAB 코드
clc, clear, close all
X = [89 63 74 95;
76 75 82 90;
72 89 85 79;
95 76 80 88;
66 77 69 81;
80 59 78 94;
85 69 77 85;
78 81 83 87;
92 79 79 91;
86 81 85 92];
Z = zscore(X, 1); % 표준화된 Z-점수 얻기
figure,
plot(Z(:, 1), 'b*');
hold on
plot(Z(:, 2), 'ro');
plot(Z(:, 3), 'g^');
plot(Z(:, 4), 'cs');
title('표준화된 Z-점수')
xlabel('학생')
ylabel('표준화된 점수')
legend('수학', '영어', '국어', '과학')
grid on
여기서 핵심 코드는 Z = zscore(X, 1)이다. 1의 의미는 X를 전체 모집단으로 본다는 것이다. 위의 공식 1에 따라 표준화하겠다는 것이다. 공식 1에서 $\mu$는 모평균(모집단의 평균), $\sigma$는 모표준편차(모집단의 표준편차)를 의미한다. 모표준편차는 다음과 같이 구한다.
만약에 Z = zscore(X, 0) 또는 Z = zscore(X)으로 코드를 작성한다면, X를 표본으로 구성된 것으로 보고 $z = \frac{x - \bar{X}}{S}$에 의해 표준화된 z-점수를 산출한다. $\bar{X}$는 표본평균(표본의 평균)을, $S$는 표본표준편차(표본의 표준편차)를 의미한다. 표본표준편차는 다음과 같이 구한다.
대한민국에서 태어나고 현재 중국에 거주하고 있는 한 사람으로서, 자본주의가 무엇인지, 또 공산주의는 무엇인지 제대로 알아야겠다는 생각에 이 책을 구입해 읽게 되었다. e-book으로 구입해서 읽었지만, 종이책으로도 구입해서 읽고 싶은 마음이 들게 만든다.
이 책의 저자인 막스 베버가 주장하는 바는 근대 자본주의의 정신이 개신교의 윤리로부터 나왔다는 것이다. 여기서 베버가 말하는 근대 "자본주의 정신"이란 "개신교 윤리가 탈종교화 또는 세속화되어서 생겨나게 된 가치관, 즉 노동 자체를 목적으로 보고, 직업 노동에서 조직적이고 체계적으로 일하며, 자본을 증식시키고, 부를 누리려고 하지 말고 지속적으로 돈을 벌며, 물질적인 부를 자신의 가치를 증명해 주는 표지로 이해하는 가치관"을 의미한다.
개신교가 종교개혁을 통해 출현하기 전 기독교인들은 노동과 돈을 버는 것에 대해서 대체적으로 부정적인 인식을 갖고 있었다. 직업을 갖고 돈을 버는 것은 생계를 위해 어쩔 수 없이 하는 것이고, 그보다는 수도원에 들어가 묵상을 하고 수행을 하는 것이 훨씬 가치있는 삶으로 여겼다. 노동은 돈이 충분하지 않을 때나 해야하는 것이고, 먹고 살만한 충분한 돈이 있으면 일하지 않아도 된다고 생각했다.
반면, 개신교도들은 직업이 하나님께서 주신 소명이라고 생각하게 되었다. 자신이 종사하는 직업에 최선을 다하는 것이 하나님을 영광스럽게 하는 것으로 받아들이게 되었다. 하나님께 영광을 돌리는 삶을 사는 것은 개신교도들에게 가장 중요한 이슈였다. 그러다보니 자신에게 주어진 일에서 성과를 내기 위해 합리적으로 또 체계적으로 일했다. 또한 성경을 기준에 놓고 사는 사람들이었기 때문에 부정직한 방법으로 돈을 버는 것은 수치스럽게 여겼다. 그들은 또한 더 나은 내세를 위해 현세에서는 금욕하는 것을 미덕을 삼았기 때문에, 돈을 쾌락을 위해 흥청망청 쓰는 것은 경계했다. 개신교도들은 열심히, 또 체계적으로 일해서 얻은 부를 쓰지 않고, 기부하거나 더 많은 이윤을 남기기 위해 재투자했다. 이러한 특징은 개신교가 자리를 잡은 지역에는 보편적으로 일어난 현상이었다.
종교개혁 이후 개신교도들이 자리 잡은 곳들에서 근대 자본주의가 크게 발전했다. 그럴 수 있었던 주요한 원인은 노동을 성스러운 것으로 여기고, 직업을 하나님께서 주신 소명으로 여기고, 최대한의 성과를 내기 위해 금욕하며 합리적으로 삶을 조직한 개신교도들의 사상과 정신에 있다고 보는 것이 이 책의 핵심이다.
이 책의 핵심 주제
이런 면에서 볼 때 근대 자본주의는 공산주의에 비해 훨씬 더 기독교적이라고 보는 것이 맞을 것 같다. 무신론과 유물론을 기반으로 탄생한 공산주의는 애초에 시작부터가 반기독교적이다.
현재 자본주의 사회에 살고 있는 우리들은 본연의 "자본주의 정신"을 잃었다. 근대 자본주의 정신이 정직하게 잘 벌어서 하나님께 영광을 돌리고, 가정과 이웃을 섬기는 것이었다면, 현재는 수단과 방법을 가리지 않고 많이 벌어서 자신만 잘 살고자하는 것으로 변색되었다. 우리는 다시 자본주의 정신을 회복해야한다. 이미 역사적으로 실패가 확인된 공산주의로 갈아타고, 시장을 무시하고 국가권력이 경제에 무단히 개입하는 이런 것이 대안이 아니라, 원래 자본주의 정신을 회복하는 것이 진짜 대안이다.
오늘 포스팅하는 대표값은 예전에 한 대학교 Lab에 석사를 지원했을 때, 면접 중에 교수님들이 내게 물어봤던 것이다.
"평균, 중앙값이 뭐죠? 또 C언어로 코딩한다면 어떻게 코딩해야할까요?"
그 당시에 나는 이 질문에 제대로 답변을 못했다. 중앙값에 대한 이해가 없었다. 당연히 중앙값에 대해서는 코드를 작성할 수도 없었다. 그리고 얼마 지나지 않아 불합격 소식을 듣게 되었다. 그 덕분(?)에 나는 지금 이 톈진대학교에 오게 되었다. 이곳에서 그간 많이 성장해왔으니 감사하게 생각하고 있다.
그만큼 대표값이라는 개념은 통계에 있어서 매우 기본 중의 기본이다. 그 당시에 나는 통계학에 있어서는 정말 기본도 몰랐던 것이다. 통계학은 어떤 전공을 막론하고 필수과목이 되어가고 있다. 혹시 나처럼 어떤 학교나 회사에 지원할 때 면접관이 물어볼 수도 있으니 잘 알아두길 권한다.
대표값
많은 숫자로 이루어진 자료가 있다고 가정하자. 이러한 자료 전체의 특징을 대표적으로 나타내는 값을 바로 대표값이라고 한다. 대표값은 자료의 중심적 성향(central tendency)을 나타내는 수치다. 대표값에는 평균(mean), 중앙값(median), 최빈값(mode) 등이 있다.
평균은 전체변량의 총합을 변량의 개수로 나눈 값을 의미한다. 중앙값은 변량을 작은 값부터 크기 순서로 나열할 때, 중앙에 위치한 값을 의미한다. 최빈값은 변량 중에서 가장 많이 나타나는 값을 말한다.
아주 간단하게 평균, 중앙값, 최빈값에 대해 정의를 내렸는데, 하나의 예를 통해 좀 더 자세하게 살펴보자.
3, 1, 6, 2, 5, 5, 2, 5, 3과 같이 9개의 숫자들로 구성된 자료가 있다고 가정하자. 이 자료의 평균, 중앙값, 최빈값을 구해보자.
1) 평균
위 자료의 평균을 구하는 것은 매우 간단하다. 수치들을 모두 더해서 수치의 갯수로 나눠주면 되기 때문이다.
$\frac{3+1+6+2+5+5+2+5+3}{9} = 3.5556$
2) 중앙값
중앙값을 구하기 위해서는 먼저 작은 숫자부터 하나씩 나열해줘야한다. 그러면 다음과 같아진다.
1, 2, 2, 3, 3, 5, 5, 5, 6
중앙값은 단순히 크기 순으로 나열했을 때 중앙에 위치하는 값이다. 따라서 중앙값은 3이 된다.
변량이 홀수개일 때 중앙값 구하기
방금은 변량의 갯수가 홀수개이므로 이렇게 중앙에 있는 숫자를 찾아서 중앙값으로 삼을 수 있었다. 그런데 만약 변량이 짝수개라면 어떻게 해야할까? 중간에 위치한 두 숫자의 평균이 바로 중앙값이 된다.
작은 수부터 나열된 자료가 다음과 같다고 생각해보자(위에서 1만 제거했다).
2, 2, 3, 3, 5, 5, 5, 6
이 8개 숫자들의 중간은 3과 5의 사이라고 볼 수 있다. 따라서 이런 경우에 중앙값은 3과 5의 평균, 즉 (3 + 5)/2 = 4가 된다.
변량이 짝수개일 때 중앙값 구하기
3) 최빈값
최빈값은 가장 빈도수가 큰 값이다. 3, 1, 6, 2, 5, 5, 2, 5, 3에서 1은 1회, 2는 2회, 3은 2회, 5는 3회, 6은 1회 출현하므로, 여기서 최빈값은 5가 된다.
사실상 평균을 대표값으로 가장 많이 사용하긴 하지만, 자료(데이터) 내에 이상한 수치, 즉 이상치가 존재하는 경우에는 평균은 데이터를 대표하는 대표값으로써 적합하지 않을 수 있다. 1, 1, 2, 3, 5, 1, 6, 4, 100, 1, 2와 같은 데이터가 있다고 가정해보자. 평균을 구해보면, 11.4545가 나온다. 대부분이 6이하의 고만고만한 숫자들인데 평균은 10보다 큰 값이 나왔다. 100이라는 다른 변량들과는 너무나 차이가 큰 단 하나의 변량 때문이다. 이때는 평균보다는 중앙값이나 최빈값이 이 데이터의 대표값으로 좀 더 잘 어울린다고 볼 수 있다.
위 데이터를 작은 변량값부터 하나씩 나열하면, 1, 1, 1, 1, 2, 2, 3, 4, 5, 6, 100이다. 따라서 중앙값은 2가 된다. 또한 최빈값은 1이 된다. 1과 2가 11.4545보다는 이 데이터를 더 잘 대표한다고 생각되지 않는가?
중앙값과 최빈값은 평균에 비해 이상치의 영향을 덜 받는 robust한 대표값이라고 말할 수 있다.
요즘 semantic segmentation을 활용하는 연구를 하나 진행하고 있다. semantic segmentation, 이름만 봐서는 이것이 무엇인지 감이 안오는 분들이 있을 것이다. 구지 번역하자면 '의미적 분할' 정도로 번역이 가능할 것 같다. 간단히 이야기해서 이미지를 의미있게 분할하는 것이 바로 semantic segmentation이다. 이 글을 차근히 읽어나가면 확실하게 알 수 있을 것이다. 인내하고 끝까지 읽는 자에게 복이 있나니...^^
오늘 이 글에서는 semantic segmentation의 목적이 무엇인지, 어디에 적용될 수 있는지, 그리고 대표적인 알고리즘인 FCN(fully convolutional networks)의 원리는 무엇인지에 대해서 소개하려고 한다.
Semantic segmentation의 목적
semantic segmentation은 이미지 내에 있는 물체들을 의미 있는 단위로 분할해내는 것이다. 좀 더 구체적으로 이야기하면,이미지의 각 픽셀이 어느 클래스에 속하는지 예측하는 것이다. 이렇게 이미지 내 모든 픽셀에 대해서 예측을 진행하기 때문에 이 과제를 dense prediction이라고 부르기도 한다. 어떤 이미지 내에는 사람, 자동차, 강아지, 고양이, 노트북, 선풍기 등 여러 종류의 물체가 포함되어 있을 수 있다. 이렇게 서로 다른 종류의 물체들을 깔끔하게 분할해내는 것이 semantic segmentation의 목적이다.
semantic segmentation의 목적 [4]
사람의 눈으로 이미지를 의미에 따라 분할해내는 것은 결코 어렵지 않은 일이다. 하지만 이것을 컴퓨터, 기계에게 하라고 하면 결코 쉽지 않은 작업이다. 불과 몇년 전까지만 해도 사실상 거의 불가능했다. 딥러닝이 발전하기 전까지만 해도 말이다. 그러나 딥러닝의 한 알고리즘인 컨볼루션 신경망(Convolutional neural network, CNN)이 등장하면서 엄청난 발전을 이뤘다. 잘 훈련된 semantic segmentation 알고리즘은 사람과 비슷한 수준으로 semantic segmentation을 수행한다. 물론 알고리즘을 훈련시키기 위해서는 수만장의 이미지와 그에 해당하는 픽셀 단위 ground-truth 라벨값들이 투입되어야한다.
semantic segmentation을 어떤 이미지에 시행하면 다음 그림과 같이 각 픽셀이 어느 클래스에 속하는지 알게 된다. 즉, semantic segmentation 알고리즘의 입력값은 컬러 이미지 또는 흑백 이미지고, 출력값은 각 픽셀의 예측된 클래스를 나타내는 segmentation map이다. 이 segmentation map을 얻는 것이 semantic segmentation의 실질적 목적이다.
Semantic segmentation의 적용분야
semantic segmentation의 주된 적용분야 중에 하나가 바로 '자율주행자동차'다. 아래 그림을 살펴보자.
semantic segmentation과 자율주행자동차 [2]
위 그림을 보면 사람, 자동차, 트램, 신호등, 표지판, 나무, 도로 등으로 이미지가 분할된 것을 확인할 수 있다. 자율주행자동차에 탑재된 카메라들로부터 촬영된 영상들에서 사람, 자동차, 신호등, 표지판, 도로 등이 어디에 있는지를 알아내야 안전하게 주행을 수행할 수 있기 때문에, semantic segmentation은 필수적인 과정이다.
또한 영상처리 및 컴퓨터비전이 그동안 의료 분야에 많이 기여해왔던 것처럼 semantic segmentation도 역시 의료 이미지 분석에 적용될 수 있다. 아래 그림을 참고하자.
흉부 X-ray에 semantic segmentation이 적용된 예 [4]
흉부 X-ray 사진에 semantic segmentation을 수행했더니 심장(빨강색), 폐(연두색), 쇄골(파란색)과 같은 부분들을 잘 분할해냈다. 이와 같은 처리는 의사가 X-ray 사진을 분석하는데 도움이 될 것이다.
Semantic segmentation의 대표적 알고리즘, FCN
그렇다면 Semantic segmentation 알고리즘들은 어떤 원리로 이렇게 멋진 작업을 수행해내는 것일까? Semantic segmentation에서 가장 대표적인 모델인 FCN (fully convolutional networks)에 대해서 여기서 소개하겠다.
FCN은 버클리 대학의 Jonathan Long 등이 2015년 CVPR에 발표한 Semantic segmentation 알고리즘이다[8]. FCN의 original 논문의 제목은 "Fully convolutional networks for semantic segmentation"이다. 이후에 출시된 알고리즘들은 사실상 FCN을 개선한 아류작들이라고 볼 수 있다. 그만큼 FCN이 선두적인 역할을 했다.
AlexNet, VGGNet 등 이미지 분류(image classification)용 CNN 알고리즘들은 일반적으로 컨볼루션 층들과 fully connected 층들로 이뤄져있다. 항상 입력이미지를 네트워크에 맞는 고정된 사이즈로 작게 만들어서 입력해준다. 그러면 네트워크는 그 이미지가 속할 클래스를 예측해서 알려준다. 아래 그림에서 네트워크는 입력된 이미지의 클래스를 얼룩무늬 고양이(tabby cat)라고 예측해냈다.
이미지 분류용 CNN 알고리즘의 기본 구조(컨볼루션 층들 + fully connected 층들) [6]
이 분류용 CNN 알고리즘들은 이미지에 있는 물체가 어떤 클래스에 속하는지는 예측해낼 수 있지만, 그 물체가 어디에 존재하는지는 예측해낼 수 없다. 왜냐하면 네트워크 후반부의 fully connected 층에 들어서면서 위치정보가 소실되었기 때문이다. 따라서 AlexNet, VGGNet 등과 같은 알고리즘들을 수정함없이 Semantic segmentation 과제에 그대로 사용하는 것은 불가능하다.
FCN 개발자들은 위치정보가 소실되지 않게 하기 위해서, 또한 어떠한 크기의 입력이미지도 허용하기 위해서 다음과 같이 알고리즘을 발전시켜간다. 먼저고정된 크기의 인풋만을 허용하는 fully connected 층을 1x1 컨볼루션층으로 바꿔준다.
fully connected 층들을 1x1의 컨볼루션층들로 전환 [6]
결과적으로 네트워크 전체가 컨볼루션층들로 이뤄지게 되었다. fully connected 층들이 없어졌으므로 더 이상 입력 이미지의 크기에 제한을 받지 않게 되었다.
입력이미지의 크기에 자유해졌다. [6]
이제 어떠한 사이즈 H x W의 이미지도 이 네트워크에 입력될 수 있다. 여러 층의 컨볼루션층들을 거치고 나면 특성맵(feature map)의 크기가 H/32 x W/32가 되는데, 그 특성맵의 한 픽셀이 입력이미지의 32 x 32 크기를 대표한다. 즉, 입력이미지의 위치 정보를 '대략적으로' 유지하고 있는 것이다.
여기서 중요한 것은 이 컨볼루션층들을 거치고 나서 얻게 된 마지막 특성맵의 갯수는 훈련된 클래스의 갯수와 동일하다는 것이다.21개의 클래스로 훈련된 네트워크라면 21개의 특성맵(이것을 heatmap이라고도 부른다)을 산출해낸다. 각 특성맵은 하나의 클래스를 대표한다. 만약 고양이 클래스에 대한 특성맵이라면 고양이가 있는 위치의 픽셀값들이 높고, 강아지 클래스에 대한 특성맵이라면 강아지 위치의 픽셀값들이 높다.
heatmap 설명 [7]
이 대략적인(coarse) 특성맵들의 크기를 원래 이미지의 크기로 다시 복원해줄 필요가 있다.이미지의 모든 픽셀에 대해서 클래스를 예측하는 dense prediction을 해주는 것이 semantic segmentation의 목적이기 때문이다. (coarse와 dense는 서로 반의어다.) 이 원래 이미지 크기로 복원하는 과정을 upsampling이라고 부른다. upsampling을 통해 각 클래스에 해당하는 coarse한 특성맵들을 원래 사이즈로 크기를 키워준다. upsampling된 특성맵들을 종합해서 최종적인 segmentation map을 만든다. 간단히 말해서, 각 픽셀당 확률이 가장 높은 클래스를 선정해주는 것이다. 만약 (1, 1) 픽셀에 해당하는 클래스당 확률값들이 강아지 0.45, 고양이 0.94, 나무 0.02, 컴퓨터 0.05, 호랑이 0.21 이런 식이라면, 0.94로 가장 높은 확률을 산출한 고양이 클래스를 (1, 1) 픽셀의 클래스로 예측하는 것이다. 이런 식으로 모든 픽셀이 어느 클래스에 속하는지 판단한다.
FCN-32s 모델 [7]
그런데 단순히 upsampling을 시행하면, 특성맵의 크기는 원래 이미지 크기로 복원되고, 그것들로부터 원래 이미지 크기의 segmentation map을 얻게 되지만 여전히 coarse한, 즉 디테일하지 못한 segmentation map을 얻게 된다. 1/32만큼 줄어든 특성맵들을 단숨에 32배만큼 upsampling 했기 때문에 당연히 coarse할 수 밖에 없다. 이렇게 단숨에 32배 upsampling하는 방법을 논문에서는 FCN-32s라고 소개하고 있다. 아래 그림을 보자. ground truth와 비교해 FCN-32s로 얻은 segmentation map은 많이 뭉뚱그려져 있고 디테일하지 못함을 알 수 있다.
coarse한 segmentation map [8]
FCN의 개발자들은 좀더 디테일한 segmentation map을 얻기 위해skip combining이라는 기법을 제안한다. 기본적인 생각은 다음과 같다.컨볼루션과 풀링 단계로 이뤄진 이전 단계의 컨볼루션층들의 특성맵을 참고하여 upsampling을 해주면 좀 더 정확도를 높일 수 있지 않겠냐는 것이다. 왜냐하면 이전 컨볼루션층들의 특성맵들이 해상도 면에서는 더 낫기 때문이다. 이렇게 바로 전 컨볼루션층의 특성맵(pool4)과 현재 층의 특성맵(conv7)을 2배 upsampling한 것을 더한다. 그 다음 그것(pool + 2x conv7)을 16배 upsampling으로 얻은 특성맵들로 segmentation map을 얻는 방법을 FCN-16s라고 부른다. 아래 그림을 참고하자.
FCN-16s 모델 [7]
또 더 나아가서 전전 컨볼루션층의 결과도 참고해서 특성맵들을 얻고, 또 그 특성맵들로 segmentation map을 구할 수도 있다. 이 방법은 FCN-8s라고 부른다. 좀 더 구체적으로 이야기하면, 먼저 전전 단계의 특성맵(pool3)과 전 단계의 특성맵(pool4)을 2배 upsampling한 것과 현 단계의 특성맵(conv7)을 4배 upsampling 한 것을 모두 더한 다음에 8배 upsampling을 수행하므로 특성맵들을 얻는다. 이것을 모두 종합해서 최종 segmentation map을 산출한다.
FCN-8s 모델 [7]
아래 그림을 보면 FCN-8s가 FCN-16s보다 좀 더 세밀하고, FCN-32s보다는 훨씬 더 정교해졌음을 알 수 있다. 다른 논문에서, 또는 웹상에서 누군가 FCN을 말할 때는 보통 이 FCN-8s를 의미한다고 봐도 무방하다.
FCN-8s가 FCN-32s와 FCN-16s보다 좀 더 정교하게 예측해냄을 알 수 있다. [8]
첨부1: Semantic segmentation과 Object detection의 차이
혹시나 semantic segmentation이 무엇인지 아직 헷갈릴 수도 있는 분들을 위해서 추가적으로 챕터를 준비했다. object detection과 비교해보면 semantic segmentation이 무엇을 위한 것인지 좀 더 분명하게 확인될 것이다. 바운딩 박스로 검출된 물체들을 나타내는 object detection과 다르게, semantic segmentation은 이미지 내 모든 픽셀이 각각 어느 클래스에 속하는지 예측하고 그것들을 모아서 이미지를 의미 있는 단위로 분할한다.
object detection과 semantic segmentation 비교 [1]
위 그림과 같이 object detection은 이미지 내에서 물체들을 검출한 것을 직사각형의 바운딩 박스로 묶어서 표현해내는 반면, semantic segmentation은 각자 다른 클래스에 속하는 물체들을 좀 더 정확하게 분할해낸다. 양(sheep)들은 모두 양 클래스에 속하므로 하나의 색으로 표현되었다.
semantic segmentation과 관련해서 조사를 하다보면 instance segmentation라고 불리는 것을 종종 보게 된다. semantic segmentation의 경우 같은 클래스에 속하면 각각 독립된 개체라고 하더라도 하나의 색으로 나타냈었다. 반면 instance segmentation의 경우 같은 클래스에 속하더라도 독립된 개체라면 각기 다른 색으로 표현해준다. 아래 그림에서 오른쪽 그림을 보면, 세 마리의 양들을 각기 다른 색으로 표현해준 것을 확인할 수 있다.
semantic segmentation과 instance segmentation 비교 [1]
끝까지 읽어주셔서 대단히 감사합니다. 인내의 열매를 누리고 계실 것이라 믿으며 글을 마칩니다. 질문, 지적, 칭찬 모두 환영합니다.^^
유투브에서 간간이 예배 영상을 보곤 하는데, 최근에 보면서 은혜를 많이 받는 교회가 있다. 바로 한성교회다. 김윤진 간사님이 인도하시는 찬양 영상을 보면 왠지 모르게 은혜가 된다.
그러던 와중에 우리 집 책장에서 이 책을 발견했다. 바로 한성교회 청년부의 부흥 이야기를 담은 책이었다. <죽지 마 청년아>는 아는 분께서 한국에 들어가시면서 물려받게 된 책 중 하나다. 우리 교회 청년부 사역에 도움이 될까하여 이 책을 손에 집어 들었다. 그리고 곧 왜 한성교회 예배 영상이 은혜가 되었는지 이해하게 되었다.
저자이신 권기웅 목사님이 말씀하시는 청년부 사역의 핵심은 결국 "사랑과 관심"이었다. 청년들은 자신들에게 사랑과 관심을 주는 공동체에 모인다는 것이다. 먼저 찾아가 그들의 이야기, 그들의 아픔에 관심을 가져야한다는 것이다.
왜 청년들이 교회를 떠나기 시작했을까? 진짜 그들의 영혼에는 관심이 없고, 어떻게 하면 교회 부흥에 이들을 활용할까에 집착했기 때문은 아닐까? 청년들에게 진정성 있는 사랑과 관심을 주지는 않고, 사역의 도구로만 보는 공동체는 청년들이 결국 떠나게 된다.
주님 안에서 그들의 영적 상태가 어떠한지, 주님과의 관계가 굳건히 맺어져있고, 주님과 교제하는 삶을 사는지에 관심을 가져야한다. 사역을 얼마나 많이, 열심히 하는가는 그 다음 문제다.
먼저 청년들이 은혜를 받게 도와야한다. 예배, 기도, 심방을 통해 청년들의 영적, 육적 필요를 먼저 도와야한다. 그것에 목숨을 건다. 그렇게해서 은혜를 받은 청년들은 리더로 세워져 또다른 청년들을 돕는 것이다. 은혜를 받은 청년들에게 사역을 시켜야한다.
은혜를 주고 안 주는 것은 하나님이 하실 수 있는 일이지만, 하나님은 우리와 동역하길 원하신다. 우리의 간절한 기도와 준비된 예배, 사랑의 교제를 통해 주님은 일하신다.
저자는 청년들에게 권고로 글을 마무리하는데, 하나님께 쓰임 받고 싶다면 스펙보다 거룩에 초점을 맞추라는 것이다. 이 말이 참 와닿았다. 나는 지금 스펙에 힘쓰는 삶을 살고 있는가, 아님 거룩에 힘쓰는 삶을 살고 있는가? 삼손이 머리카락을 잃으면 힘을 잃었던 것처럼, 우리 크리스천들은 거룩을 잃으면 진정한 능력을 잃는다. 거룩한 삶을 사는 것에 온 신경을 집중시키자.
우리 교회에도, 우리 교회 청년부에도 한성교회가 경험하고 있는 것과 같은 부흥이 일어나길 소망한다.
신뢰구간 추정에 대해 '언젠가 정리해야지 정리해야지' 미루다가 드디어 정리하게 되었다. 모호했던 개념들을 제대로 잡아보자.
신뢰구간이란?
추정에는 점추정(point estimation)과 구간추정(interval estimation)이 있다. 점추정은 모수가 얼마일 것이라고 하나의 수치를 추정하는 것이다. 여기서 모수는 모평균, 모분산, 모표준변차, 모비율 등 모집단의 특성에 관한 수치들을 의미한다. 구간추정은 모수가 어느 값 a와 어느 값 b 사이, 즉 어떤 구간 내에 몇 %의 확률로 존재할 것이라고 추정하는 것이다(엄밀히 따지면 정확한 의미는 아니지만, 이렇게 받아들이는 것이 이해하기 쉽다[4]). 그 확률을 신뢰수준(confidence level) 또는 신뢰도라고 부르고, 그 추정한 구간을 신뢰구간(confidence interval)이라고 부른다. 여기서는 모평균 $\mu$의 신뢰구간을 추정하는 것을 다루겠다.
만약 누군가가 점추정를 통해 "A후보의 지지율은 54.3%입니다"라고 말한다면, 자신감 있어 보이더라도 틀린 말이 될 수 있다. 실제 지지율이 54.9%라면 말이다. 이와 같은 점추정은 틀릴 가능성이 높다. 반면 구간추정을 통해 "A후보의 지지율은 신뢰수준 95%로 신뢰구간51.3%~57.3% 내에 있습니다"라고 말한다면, 좀 더 안전하다. 물론 구간추정도 틀릴 수 있지만, 점추정에 비하면 틀릴 가능성이 적다.
모수가 신뢰구간 안에 포함되지 않을 확률을 보통 $\alpha$로 표현한다[2]. 자연스럽게 모수가 신뢰구간 안에 포함될 확률, 즉 신뢰수준은 $1-\alpha$로 표현된다.
만약 신뢰수준 $1-\alpha$이 0.95 즉, 95%라면 $\alpha = 0.05$이다. 이해를 위해 아래 그림을 참고하자.
그림과 같이 모수가 신뢰구간에 속하지 않을 확률이 양쪽 꼬리부분에 각각 $\frac{\alpha}{2}$만큼씩 있다.
신뢰구간을 추정할 때는 상황에 따라 다른 확률분포를 사용해야한다. 만약 모분산 $\sigma^2$을 알고 있다면, 표본의 크기와 관계없이 정규분포를 사용한다. (사실 모분산을 알고 있는 경우는 굉장히 드물지만.) 만약 모분산을 모를 때, 표본의 크기가 충분히 크면 정규분포를, 표본의 크기가 작으면 t분포를 사용한다. t분포를 사용하려면 모집단이 정규분포를 따라야한다는 한계가 있다[1]. 아래 그림에 정리를 해놓았다.
모분산을 알 때 모평균의 신뢰구간 추정
먼저 모분산을 아는 경우부터 살펴보자. 모분산을 안다는 것은 모표준편차를 안다는 것과 마찬가지다. 모평균을 $\mu$, 모분산을 $\sigma^2$, 모표준편차를 $\sigma$라고 할 때, 크기가 n인 표본의 표본평균 $\bar{X}$을 표준화하면, 다음과 같이 Z통계량이 된다.
Z통계량
왜냐하면 표본평균은 정규분포 $N(\mu, \frac{\sigma^2}{n})$을 따르기 때문이다.
만약 95%의 신뢰수준으로 모평균이 신뢰구간 내에 존재한다고 하면, 표준정규분포표에 의해 다음과 같이 쓸 수 있다.
이 말은 a가 -1.96, b가 1.96이라는 것이다. 마찬가지로 신뢰수준이 $1-\alpha$일때도 그에 해당하는 a와 b의 값이 존재할 것이다. a와 b를 각각 $-z_{\alpha/2}$, $z_{\alpha/2}$라고 하면,
이다. 여기서 $z_{\alpha/2}$는 표준정규분포의 오른쪽 꼬리 $\alpha/2$에 해당하는 면적을 가지는 z값을 의미한다(아래 그림 참고).
따라서, 신뢰수준 $1-\alpha$인 신뢰구간은 다음과 같이 유도해낼 수 있다.
$\alpha$에 따른 $z_{\alpha/2}$의 값은 표준정규분포표를 참조하면 알 수 있다.
모분산을 알 때 모평균의 신뢰구간 추정 예제
그럼 이제 예제를 풀면서 모분산을 알 때 모평균의 신뢰구간을 어떻게 추정하는지 제대로 이해해보자.
전국 고등학교 남학생의 평균키를 조사하는데, 모표준편차가 15cm라고 한다. 이때 100명의 남학생을 모집단에서 임의로 뽑아 키를 쟀더니 평균키가 172cm였다. 전국 고등학교 남학생의 평균키에 대한 95% 신뢰구간과 99% 신뢰구간을 추정하라.
풀이>>
1) 95% 신뢰구간
이 문제에서 모표준편차 $\sigma=15$, 표본 크기 $n=100$, 표본평균 $\bar{X}=172$, $\alpha=0.05$, $\alpha/2=0.025$이다. 이 값들을 모평균의 신뢰구간 식에 대입하자. 그러면 신뢰구간은 다음과 같다.
$z_{0.025}$는 표준정규분포표에서 1 - 0.025 =0.975에 가장 가까운 z값을 찾으면 된다.
표준정규분포표, 출처[6]
위 표준정규분포표에서 빨간색으로 표시한 것과 같이 z = 1.96일 때 0.975에 가장 가까우므로 $z_{0.025}$에 대입한 후 정리하면 신뢰구간을 알 수 있다.
2) 99% 신뢰구간
99% 신뢰구간에서는 $\alpha=0.01$, $\alpha/2=0.005$이다. 따라서 $z_{0.005}$를 알아야하는데, 이것은 표준정규분포표에서 1 - 0.005 =0.995에 가장 가까운 z값을 찾으면 된다. 위 표준정규분포표에서 파란색으로 표시한 것과 같이 z = 2.58일 때 0.995에 가장 가깝다. 따라서 99% 신뢰구간은 다음과 같이 계산할 수 있다.
95% 신뢰구간보다 99% 신뢰구간이 좀 더 넓은 것을 확인할 수 있다.
모분산을 모를 때 모평균의 신뢰구간 추정
모분산을 모를 때는 t분포를 사용한다. t분포는 정규분포와 상당히 비슷한데 중심부는 낮아지고 양쪽 꼬리는 좀 더 높은 종 형태이다(아래 그림 참고). 자유도가 작을수록 꼬리부분이 높아지고, 자유도가 높을수록 표준정규분포에 가까워진다. 이 자유도는 표본의 크기에 따라 결정된다. (자유도 = n - 1)
표준정규분포(z분포)와 t분포 비교, 출처: [8]
모분산, 즉 모표준편차를 모르기 때문에 모표준편차 $\sigma$ 대신에 표본표준편차 $s$을 사용한다. t통계량은 다음과 같이 쓸 수 있다.
t통계량
따라서 모분산을 모를 때 모평균의 신뢰구간은 다음과 같이 바뀐다.
$t_{\alpha/2}$은 t분포표를 참조하면 알 수 있다.
모분산을 모르더라도표본의 크기가 충분히 크다면($n \geq 30$) 정규분포를 사용할 수 있다. 표본의 크기가 30이상이면 t분포는 정규분포와 비슷해지기 때문이다. 이때는 Z변량에서 모표준편차 자리에 표본표준편차를 사용한다.
모분산을 모를 때 모평균의 신뢰구간 추정 예제1
모분산을 모르고 표본의 크기가 작을 때 모평균의 신뢰구간 추정하는 예제를 먼저 풀어보자.
새롭게 개발한 자동차의 경제성을 측정하기 위해 휘발유 1리터로 주행할 수 있는 거리를 10대의 표본을 대상으로 측정했다. 측정 결과 표본평균은 17km, 표본표준편차는 0.7km였다. 이때 신형 자동차가 휘발유 1리터로 주행할 수 있는 평균거리의 95% 신뢰구간을 구하시오[5].
풀이>>
모표준편차를 모르고, 표본의 크기가 10으로 작기 때문에 t분포를 이용해야 한다. 표본평균 $\bar{X}=17$, 표본표준편차 $s = 0.7$, $n=10$, $\alpha=0.05$, $\alpha/2=0.025$이므로 신뢰구간을 다음과 같이 쓸 수 있다.
자유도 n-1 = 9일 때 $t_{0.025}$를 아래 t분포표에서 찾아보면 2.262임을 알 수 있다.
t분포표, 출처: [7]
$t_{0.025}$에 2.262를 대입해서 계산하면 다음과 같이 95% 신뢰구간이 결정된다.
모분산을 모를 때 모평균의 신뢰구간 추정 예제2
이번에는 모분산을 모르지만 표본의 크기가 클 때 모평균의 신뢰구간 추정하는 예제를 풀어보자.
어느 회사에서 제품의 모평균을 추정하기 위해 표본 30개를 뽑았는데, 표본평균이 500이고 표본표준편차가 40이라고 한다. 이 제품의 모평균에 대한 90% 신뢰구간을 추정하라.
풀이>>
모표준편차를 모르지만, 표본의 크기 n=30으로 30이상이므로 정규분포를 사용해도 된다. 문제에 의하면 $\bar{X}=500$, $s=40$, $\alpha=0.1$, $\alpha/2=0.05$이다. 90% 신뢰구간은 다음과 같은 과정으로 계산할 수 있다. ($z_0.05$는 위 표준정규분표표에서 참조했더니 1.64였다. )
이 신뢰구간이 t분포를 이용해서 구해도 유사할까? 확인해볼 필요가 있다. t분포를 이용해서 구하면 다음과 같이 계산된다. (자유도 n-1 = 29일 때 $t_{0.05}$를 t분포표에서 찾으면 1.699임을 알 수 있다.)
정규분포를 이용해서 90% 신뢰구간을 구한 것과 큰 차이가 없음을 알 수 있다. 이 차이는 자유도와 직접적인 관계가 있는 표본의 크기가 커지면 커질수록 더 작아질 것이다.
최선을 다해 쓴 글 중 하나입니다. 도움이 되시길 바라며 글을 마칩니다.^^ 도움이 되셨다면 공감을 눌러주시고, 질문 또는 피드백이 있으시면 댓글 남겨주세요!
중심극한정리(central limit theorem, CLT)는 평균이 m, 분산이 $\sigma^2$인 임의의 모집단에서 크기가 n인 표본의 평균 $\bar{X}$의 분포는 n이 충분히 클 때, 정규분포 $N(m, \frac{\sigma^2}{n})$를 근사적으로 따른다는 것이다[3]. 표본의 크기 n이 일반적으로 30이상이면 충분히 큰 것으로 본다[4].
아래 그림은 정규분포가 아닌 여러 분포들이 표본의 크기가 커짐에 따라 정규분포에 수렴하는 것을 보여준다.
또한 모집단이 정규분포를 따르는 경우에는 표본의 크기에 관계없이 표본평균 $\bar{X}$는 정규분포 $N(m, \frac{\sigma^2}{n})$를 따른다[4].
중심극한정리 예제
중심극한정리를 이용하는 예제를 하나 풀어보자.
한 건전지 회사에서 생산한 건전지의 수명이 평균 400시간, 표준편차가 25시간(즉, 분산은 $25^2$)인 어떤 확률분포를 따른다고 가정하자. 이 건전지 100개의 표본에 대해 평균수명이 395시간에서 405시간 사이에 있을 확률을 구하라.
풀이>>
이 모집단의 모평균 $m = 400$, 모표준편차 $\sigma = 25$이다. 또한 표본의 크기 n = 100이므로 충분히 크다고 볼 수 있다. 따라서 이 모집단이 어떤 분포를 따르던 관계없이, 표본평균 $\bar{X}$은 근사적으로 정규분포 $N(m, \frac{\sigma^2}{n}) = N(400, \frac{25^2}{100})$을 따른다. 중심극한정리에 의해서 말이다.
표본의 평균수명이 395시간에서 405시간 사이에 있을 확률을 구하라고 했기 때문에, $P(395 \leq \bar{X} \leq 405)$을 구하면 된다. 표준정규분포표를 이용하기 위해 표준화를 해준 다음에 표준정규분포표를 참조해서 확률을 구해주면 다음과 같이 된다.
위 그림은 2019년 1월 5일, 14일에 찍은 사진들을 담은 폴더를 캡쳐한 것이다. 여기 보면 유형에 JPG 파일이라고 적혀있는 것을 확인할 수 있다. JPEG 이미지 파일 형식으로 이미지가 저장 및 표현되어 있다는 뜻이다. 디지털 카메라, 스마트폰으로 찍은 사진은 대부분 디폴트 형식인 JPEG 형식으로 저장된다. 디폴트 형식이 JPEG이라는 것은 그만큼 JPEG으로 이미지를 저장하고 표현하는 것이 일반적이란 뜻이다. 오늘은 우리에게 친숙하고도 친숙한 JPEG이 도대체 무엇인지, 그 기반에 있는 기술에 대해서 알아보도록 하겠다.
JPEG에 대해 설명하기 전에 잠시 이미지 파일 형식이 무엇인지 살펴보고 가겠다. 왜냐하면 JPEG은 이미지 파일 형식의 한 종류이기 때문이다.
이미지 파일 형식이란?
이미지 파일 형식(image file format)은 이미지 데이터를 저장하고 표현하기 위한 파일 형식을 의미한다[1]. 이미지 파일 형식은 크게 래스터(raster) 방식과 벡터(vector) 방식으로 나눌 수 있다. 래스터 방식은 이미지를 색상 정보가 담긴 픽셀들로 표현하는 방식이고, 벡터 방식은 수학식으로 이뤄진 점, 직선, 곡선, 다각형 등으로 이미지를 표현하는 방식이다.
래스터 이미지는 픽셀의 수가 많을수록 화면의 질이 향상된다. 하지만 그만큼 파일 용량은 커진다. 또한 화질의 손실 없이 이미지의 사이즈를 확대시키거나 축소시키는 것이 불가능하다.
벡터 이미지는 아무리 이미지를 확대시켜도 선명하게 보인다. 확대 및 축소에 자유롭다는 뜻이다. 하지만 색상의 자연스러운 변화나 세밀한 표현이 어렵고, 과도하게 복잡한 계산이 필요한 이미지의 경우 컴퓨터에 큰 부담을 준다. 수행해야할 계산량이 많기 때문이다.
JPEG, GIF, PNG, TIFF, BMP, Raw 등이 래스터 방식을 이용한 이미지 파일 형식들이고, AI, SVG, VML, CGM, 거버 포맷 등은 벡터 방식을 이용한 것들이다. PDF와 EPS는 두 방식을 복합적으로 사용한 이미지 파일 형식들이다.
오늘은 이미지 파일 형식 중에서 래스터 방식에 속하는 JPEG에 대해서 정리하려고 한다. JPEG은 아마도 우리가 가장 많이 접하는 이미지 파일 형식일 것이다.
JPEG 이해하기
JPEG(Joint Photographic Experts Group)은 손실 압축 기술을 사용하는 이미지 파일 형식이다. 손실 압축이란 원본 파일의 용량을 줄이기 위해 고의적으로 이미지를 손실시키는 것이다. 단, 사람의 눈에 크게 거슬리지 않는 부분들을 손실시킨다. 사람의 눈은 이미지의 전체적인 구조가 손실되는 것에는 민감하지만, 디테일한 부분이 바뀌는 것에는 비교적 둔감하다. 이미지의 전체적인 구조는 저주파 성분과 관련되어 있고, 디테일한 부분은 고주파 성분과 관련되어 있다. 이러한 속성을 이용해서 고의적으로 고주파 성분의 일부를 제거하는 것이다. 이를 위해 이미지를 주파수 도메인으로 변환을 해준다. 이산코사인변환(DCT, discrete cosine transform)을 이용한다.
그러면 어떻게 이미지의 화질을 최대한 유지하면서 손실 압축시키는지 자세하게 한 단계 한 단계 살펴보자.
색공간을 변환해준 이유는사람의 눈이 색상 성분보다는 밝기(휘도) 성분에 더 민감하기 때문에 밝기 정보보다 색상 정보를 더 많이 압축하기 위해서이다. 이를 위해 다운샘플링을 하는데, Y성분은 그대로 나두고 Cb와 Cr을 줄이는 방향으로 샘플링을 한다. 왜냐하면 색정보는 밝기정보보다 사람에게 덜 중요하니까.
서브샘플링 전략은 보통 J:a:b의 비율로 표현된다[7]. 여기서 J는 샘플링을 시행할 픽셀블럭의 너비를 의미한다. 보통 4로 설정된다. 픽셀블럭의 높이는 2로 정해져있다. 그리고 a는 J픽셀들의 첫번째 행에서 추출한 샘플들의 갯수를 의미한다. b는 J픽셀들의 두번째 행에서 추출된 샘플들의 갯수를 의미한다. 이게 무슨 말인지 이해가 안 될 것이다. 아래 그림을 참고하면서 좀 더 이야기해보자.
Chrominance subsampling 설명, (출처: [7])
J값이 4인 경우, 즉 4:a:b일 때는 2 x 4 사이즈의 픽셀블럭에서 샘플들을 추출한다. 만약 J값이 8이라면 2 x 8 사이즈의 픽셀 블럭에서 샘플들을 추출할 것이다.
위 그림에서 4:4:4를 보면 첫번째 행과 두번째 행에서 모두 4개씩, 전부를 다 추출한다. 사실상 subsampling을 안하겠다는 뜻이다. 4:4:0을 보면 첫번째 행에서는 4개를, 두번째 행에서는 0개를 추출한다. 4:2:2는 첫번째 행과 두번째 행에서 각각 두개씩을 추출한다. 4:2:0은 첫번째 행에서 2개, 두번째 행에서 0개를 추출한다. 4:1:1, 4:1:0도 마찬가지다. 아래 그림을 보면 이제 확실히 이해할 수 있을 것이다.
chrominance subsampling 설명 (출처: [6])
가장 아래 행을 보면 4:1:1에서는 1x4 픽셀의 색상값이 하나로 표현됨을 알 수 있고, 4:2:0에서는 2x2 픽셀의 색상값이 하나로 표현됨을 알 수 있다. 4:2:2에서는 1x2 픽셀의 색상값이 하나로 표현되고, 4:4:4에서는 1x1 픽셀의 색상값이 하나로 표현된다. 4:4:0에서는 2x1 픽셀의 색상값이 하나로 표현된다. 중요한 것은 Y성분은 서브샘플링하지 않고 그대로 놔둔다는 것이다.
JPEG에서는 주로 4:2:0 방식을 사용한다. 4:2:0 방식으로 Cb 성분과 Cr 성분을 서브샘플링해주면 8개 픽셀당 2개의 값을 추출하고 6개의 값을 버리게 되므로 그만큼 용량을 줄일 수 있다.
이어지는 압축 과정에서는 Y, Cb, Cr 채널들은 각각 분리되어 매우 유사한 방식으로 처리된다.
3) 이산코사인변환(DCT)
서브샘플링 후에 각 채널은 8x8 블락들로 분할된다. 4:2:0의 경우 Y채널은 8x8 블락들로, Cb, Cr채널들은 16x16 블락들로 분할된다고 보면 된다. 방식은 거의 동일하니 Y채널을 가지고 설명을 진행하겠다.
각 8x8 블락에 2D 이산코사인변환(DCT)을 적용한다. 그 결과 주파수 관점에서 이미지를 볼 수 있게 된다. JPEG 압축의 핵심을 기억해야한다. 고주파 성분을 줄임을 통해서 이미지의 용량을 줄이는 것!
예를 들어, 하나의 8x8 블락이 다음과 같다고 가정해보자.
각 8x8 블락에 DCT를 적용하기 전에 우선 [0, 255] 범위의 픽셀값들에 128을 빼줌으로[-128, 127] 범위로 변경해준다. 그 다음에 DCT를 각 블락에 적용한다.
주파수 도메인에서 가장 왼쪽 위에 큰 절대값을 갖고 있는 계수(coefficient)를 DC 계수라고 부른다. 그리고 나머지 63개의 계수들은 AC 계수라고 부른다. 특히 DC 계수는 저주파 성분과 관련되어 있으며 해당 블락의 기본적인 명도를 결정하는 매우 중요한 정보를 담고 있다. 그리고 AC 계수들은 고주파 성분들과 연관되어 있다.
4) 양자화(quantization)
드디어 JPEG 압축에서 핵심적인 부분에 도달했다. 양자화는 저주파 성분을 제거하기 위한 방법이다. 주파수 영역의 각 계수에 대해 특정 상수(양자화 행렬)로 나눈 후 반올림한 값들을 취한다. 전형적인 양자화 행렬은 다음과 같다.
양자화 행렬
양자화행렬을 보면 DC계수 위치의 값은 비교적 작고 AC계수들 위치의 값들은 오른쪽 아래로 가면 갈수록 커지는 경향이 있음을 알 수 있다. 이 뜻은 DC계수는 작은 값으로 나눠준다는 뜻이고, AC계수들은 오른쪽 아래에 위치한 것일수록(주파수가 높은 것일수록) 더 큰 값으로 나눠준다는 뜻이다. 예를 들어, DC계수 -415.38은 16으로 나눈 후 반올림되기 때문에 -26의 값을 갖는다. 그 오른쪽에 있는 AC계수 -30.19는 11로 나눈 후 반올림되기 때문에 -3의 값을 갖는다. 이런 방식으로 양자화 행렬을 통해 양자화하면 다음과 같이 된다.
그 결과 많은 AC 계수들이 0이 되어 버린다. 이 말은 양자화를 통해 고주파 성분들을 손실시켰다는 뜻이다.
5) zigzag 스캐닝
2차원으로 배열되어 있는 양자화된 DCT 계수들을 1차원의 데이터로 만들어준다. 이때 쓰는 기법이 zigzag 스캐닝이다.
지그재그 스캐닝 (출처: [9])
위 그림과 같이 지그재그 순서로 양자화된 DCT 계수들을 읽어서 쭉 나열하면 다음과 같은 1x64 사이즈의 벡터에 담을 수 있다.
양자화된 DC계수와 AC계수는 각각 다른 방식으로 부호화한다. 먼저 DC계수 부호화에 대해 알아보자. DC계수는 해당 블럭의 기본적인 명도와 관련되어 있다고 위에서언급했었다. 그러다보니 인접한 블럭들의 DC계수는 비슷한 값일 때가 많다. 따라서 이전 블럭의 DC 계수와 현재 블럭의 DC 계수의 차, 즉 변동값을 구한다. 작은 숫자일수록 더 적은 비트를 차지하기 때문이다. 이것을 DPCM(differential pulse code modulation)라고 부른다. 다음 그림을 보자.
DC 계수 부호화 설명 그림 (출처: [9])
위 그림을 예로 삼으면 첫번째 블럭의 양자화된 계수가 45이고, 두번째 블럭의 양자화된 DC 계수가 54이므로, 54-45해서 9를 두번째 블럭의 DC 계수 자리에 넣는다. 마찬가지로 모든 블럭의 DC 계수를 다음과 같이 바로 전 블럭의 DC계수와의 차로 대체해준다. 그 다음에 이 차 값에 대한 허프만 부호를 허프만 코드표에서 참조하면 된다. 그러면 양자화된 DC값들에 대한 부호화는 마무리된다.
우리가 예를 든 블럭의 양자화된 DCT 계수에서 DC 계수값은 -26이다. 만약 바로 전 블럭의 DC 계수값이 -16이라면, DPCM에 의해 -26-(-16) = -10이 나올 것이다. 이것은 허프만 코드표를 참조하면 1010101로 부호화된다. 허프만 코드표를 참조하는 것은 여기서 굳이 다루지 않겠다. 참고자료 [9]에 잘 나와있으니 참고하시고 그래도 이해가 안되시면 질문해주시기 바랍니다.
7) 양자화된 AC 계수 부호화
나머지 63개의 양자화된 AC 계수들에 대해서는 런 렝스 부호화(run-length encoding)를 적용한다. 0이 아닌 양자화된 AC계수들을 다음과 같이 부호화하는 것이다. (앞에 0이 몇개 나오는지, 그리고 자신의 값은 얼마인지)
이해를 돕기 위해 간단한 예를 들어보겠다. 양자화된 DC 계수가 다음과 같다고 가정하자.
[9 5 0 0 4 0 0 0 3 0 0 0 0]
이것은 런 렝스 부호화에 의해 다음과 같이 부호화된다.
런 렝스 부호화
9 앞에는 0이 없으므로 (0, 9)로 부호화된다. 5앞에도 0이 없으므로 (0, 5)로 부호화된다. 4 앞에는 2개의 0이 있으므로 (2, 4)로 부호화된다. 3 앞에는 3개의 0이 있으므로 (3, 3)으로 부호화된다. 그 뒤로는 0밖에 없다. 이 나머지 0들은 (0, 0)으로 부호화한다. 이제 각각의 값에 대한 허프만 부호를 찾기 위해 허프만 코드표를 참조한다.
우리가 예로 들어온 양자화된 DCT계수에서 AC계수들만 적으면 다음과 같다. DC 계수 -26은 이미 1010101로 부호화되었다(전 블럭의 DC계수를 -16으로 가정하고 계산했었다).
JPEG으로 이미지를 압축하면 이렇게 적은 수의 0과 1의 반복으로 이미지를 나타낼 수 있게 되는 것이다. 그만큼 많은 양의 용량을 아낄 수 있다. 하나의 8x8 8-bit 블럭을 표현하는데만 해도 최소 8x8x8=512의 비트가 필요한데, 다음과 같이 JPEG으로 압축하면 약 100비트 내외로 그 블럭을 표현할 수 있다. 약 400비트를 아끼게 되는 셈이다.
와우! JPEG을 만든 전문가 분들께 마음을 담아 존경심을 표합니다.
JPEG 압축과정을 요약하면 다음과 같다.
1) 이미지 색 공간 변환: RGB 색공간에서 YCbCr 색공간으로 전환한다.
2) 다운샘플링: 색과 관련된 채널들은 밝기 채널에 비해 덜 중요하므로 다운샘플링한다.
3) 이산코사인변환(DCT): 각 채널을 8x8 블럭으로 분할한 다음에 각 블럭마다 이산코사인변환을 시행한다.
4) 양자화: DCT 계수들을 양자화해서 높은 고주파 신호와 관련된 계수들은 대부분 0이 되게 한다.
5) zigzag 스캐닝: 2차원 배열에 담겨져 있는 양자화된 계수들을 지그재그 순서로 읽어 1차원 벡터가 되게 한다.
6) 양자화된 DC계수 부호화: DC계수들을 DPCM과 허프만 인코딩을 이용해 부호화한다.
