오늘은 2D 이미지 품질 평가(image quality assessment, IQA) 알고리즘인 VSI에 대해 소개하도록 하겠다. VSI는 visual saliency-induced index의 약자로, IQA에 visual saliency를 활용하는 방법이다. visual saliency란 이미지 내에서 사람의 시선을 끄는 부분이 어딘지를 찾아주는 기술이다. 이미지 품질 평가 방법은 왜곡 이미지의 원본 이미지를 참조할 수 있는 여부에 따라, FR(full-reference), RR(reduced-reference), NR(no-reference) 방법으로 분류할 수 있다. FR은 원본 이미지를 참조하는 방법이고, RR은 원본 이미지의 일부 정보를 참조하는 방법이고, NR은 원본 이미지를 전혀 참조하지 않는 방법이다. VSI는 FR 방법에 속한다. 이 알고리즘의 original paper는 2014년에 Lin Zhang 등에 의해 TIP에 게재된 "VSI: A Visual Saliency-Induced Index for Perceptual Image Quality Assessment"이다.
이 알고리즘이 나오기 전에도 visual saliency(VS)를 활용한 IQA 알고리즘들은 존재했었다. 그러나 그 알고리즘들은 기본적으로 지역 품질 맵의 픽셀 단위 지역 품질 점수들을 하나의 최종 품질 점수로 종합하는 과정에 VS맵을 활용했다. 하지만, 저자들은 VS맵이 이미지 품질에 관한 특성맵으로도 좋은 요건을 갖춘다는 것을 발견했다. 왜곡된 이미지의 VS맵은 원본 이미지의 VS맵과 차이가 있다는 것이다. 또한 왜곡의 정도가 커질수록 VS맵간의 차이도 크다. 아래 그림을 보자.
(a)는 원본 이미지고 (c), (e)는 왜곡 이미지다. (e)가 (c)보다 좀 더 왜곡되었다. (b), (d), (f)는 각각의 VS맵인데 (b) -> (d) ->로 갈수록 점점 더 원본에서 차이가 커짐을 알 수 있다.
대부분의 왜곡 유형에 VS맵은 좋은 특성맵으로 작동한다. 그러나 '콘트라스트 변화' 왜곡에는 VS가 잘 작동하지 않는다. 추정 가능한 이유는 VS맵을 산출할 때, 각 픽셀의 VS값을 주변 픽셀들에 대한 상대적인 구별성으로 계산하기 때문에 이미지의 절대적인 콘트라스트는 VS맵에 잘 나타나지 않는다. 따라서 저자들은 그레디언트 크기(gradient magnitude, GM) 맵을 추가적인 특성맵으로 활용한다. GM맵은 이미지 내의 엣지 정보를 나타내준다. 아래 그림에서 (c), (d)는 VS맵인데 콘트라스트에 분명한 차이가 있음에도, VS맵은 거의 유사하게 산출되었다. 반면, (e), (f)의 GM맵에는 분명한 차이가 나타난다.
참고로 저자들은 VS 알고리즘으로 SDSP를 활용했고, GM맵을 산출하기 위해서는 Scharr 연산자를 사용했다. SDSP는 saliency detection by combining simple priors의 약자로, 주파수, 컬러, 위치 정보로부터 사전 지식(prior knowledge)을 통합하는 VS 알고리즘이다.
VS맵은 또한 컬러의 변화와 관련된 왜곡에도 잘 작동하지 않는다. 따라서 LMN 색공간으로 변환한 다음에 색에 관련된 정보를 담고 있는 M과 N 채널 이미지를 추가적인 특성맵으로 활용했다. 참고로 GM맵은 밝기채널인 L채널을 이용해서 산출했다.
정리하자면, VSI는 총 4개의 특성맵을 활용한다. VS맵, GM맵, M맵, N맵. 원본과 왜곡 이미지의 VS맵들의 유사도는 다음과 같은 공식으로 나타낸다.
원본과 왜곡 이미지의 GM맵들의 유사도는 다음과 같이 나타낸다.
마지막으로 원본과 왜곡 이미지의 M, N 맵들의 유사도는 하나로 모아서 다음과 같이 나타낸다.
최종적으로 지역 품질 맵은 이것들을 결합해서 다음과 같이 나타낸다.
지역 품질 맵에는 각 픽셀의 품질 점수가 담겨있다. 이것을 최종적으로 하나의 점수로 모아주는 과정이 필요하다. 저자들은 시각적으로 더 중요한 부분의 지역 품질 점수에 더 큰 가중치를 주기 위해서 VS값이 큰 픽셀들에 더 큰 가중치를 부여해서 더했다.
여기서
이다. 원본과 왜곡 VS맵에서 픽셀마다 큰 값을 취한 것이다.
VSI의 성능이 어떤지 살펴보자. 아래 표에서 볼 수 있듯이, VSI는 대표적 2D FR IQA 알고리즘들인 SSIM, MS-SSIM, IW-SSIM, FSIM, FSIMc 등보다 좋은 예측 성능을 보임을 알 수 있다. 특히 가장 난해한 데이터베이스인 TID2013에서의 성능은 독보적이다. 참고로 SROCC, KROCC, PLCC는 1에 가까울수록 성능이 좋은 것이고, RMSE는 작은 값을 가질수록 성능이 좋은 것이다. 또한 TID2013, TID2008, CSIQ, LIVE는 2D IQA의 대표적 데이터베이스들이다.
VSI의 매틀랩 코드는 여기서 다운로드 받을 수 있다.
=> http://sse.tongji.edu.cn/linzhang/IQA/VSI/VSI.htm
마지막으로 정리하겠습니다. VSI에서 VS맵은 두가지 용도로 사용됩니다. 첫번째는 이미지의 품질과 관련된 특성맵으로서의 역할입니다. 두번째는 픽셀 단위의 지역품질을 최종적으로 하나의 품질 스코어로 종합할 때 가중치의 역할로 사용됩니다.
이것으로 VSI에 관한 포스팅을 마칩니다. IQA 알고리즘에 대해서는 앞으로도 종종 포스팅하도록 하겠습니다. 제 주 연구분야니까요.^^
'Research > 컴퓨터비전, 영상처리' 카테고리의 다른 글
| [IQA] VSI의 전신, SR-SIM (0) | 2019.11.07 |
|---|---|
| [Visual saliency] 예상되는 주파수 정보는 시각적으로 중요하지 않다, SRVS (1) | 2019.11.07 |
| [IQA] 콘트라스트 변화에 의한 품질의 변화를 고려한 알고리즘, RIQMC (0) | 2019.11.06 |
| [IQA] DoG 분해를 활용한 학습 기반 이미지 품질 평가 알고리즘, DOG-SSIM (0) | 2019.11.01 |
| 위상 합동(Phase congruency)의 의미와 엣지 검출 (9) | 2019.10.21 |
| [Visual saliency] 그래프 기반 visual saliency 알고리즘, GBVS (0) | 2019.10.14 |
| [IQA] 왜곡으로 인한 artifact를 블러, 노이즈, 블락으로 분류해서 다룬 BNB (0) | 2019.10.07 |
| 슈퍼픽셀(superpixel)과 SLIC 알고리즘 활용 (0) | 2019.09.30 |