[IQA] 2D 이미지 품질 평가에 구조변화를 반영하는 SSIM과 그의 변형들

오늘은 이미지 품질 평가(image quality assessment) 분야에서 가장 영향력이 있는 SSIM이라는 알고리즘과 SSIM의 변형 발전시킨 알고리즘들을 살펴보겠다. SSIM은 이미지 품질 평가의 필요성과 중요성을 학계에 강하게 알렸다고도 말할 수 있는 알고리즘이다. SSIM의 저자들 중 Zhou Wang 교수와 Alan C. Bovik 교수는 이미지 품질 평가분야에서 핵심 인물들이다. 아래는 두 교수가 담당하고 있는 연구실들의 홈페이지 주소들이다.

 

Zhou Wang 교수의 연구실 Waterloo 대학교 IVC 홈페이지:

http://ivc.uwaterloo.ca/

 

Zhou Wang 교수의 개인 홈페이지:

https://ece.uwaterloo.ca/~z70wang/

 

Alan C. Bovik 교수의 연구실 텍사스 대학교 LIVE 홈페이지:

http://live.ece.utexas.edu/index.php

 

특히 Alan C. Bovik 교수의 텍사스 대학의 LIVE 연구실은 계속적으로 이미지 품질 평가에 관한 영향력있는 논문들을 게재하고 있다. 개발한 알고리즘의 소스코드도 대부분 공개하고 있어서 이미지 품질 평가 발전에 큰 공헌을 하고 있다. (개인적으로 나도 나중에 이러한 연구실을 하나 꾸리고 싶다.)

 

SSIM (structural similarity)

해당논문: Z. Wang, A. C. Bovik, H. R. Sheikh, and E. P. Simoncelli. Image quality assessment: from error visibility to structural similarity. IEEE transactions on image processing, 13(4):600, 2004.

 

사람 시각 시스템은 이미지에서 구조 정보를 도출하는데 특화되어 있기 때문에 구조 정보의 왜곡 정도가 지각 품질에 가장 큰 영향을 미친다. 이것이 바로 SSIM의 기본이 되는 핵심 가설이다. 구체적으로 원본 이미지 x와 왜곡 이미지 y의 밝기, 콘트라스트, 구조를 비교한다.

 

우선 두 이미지의 평균 밝기를 비교한다.

 

...(공식1: 밝기 비교)

 

그리고 이미지의 표준편차값을 이미지의 콘트라스트로 정의하고, 두 이미지의 표준편차값을 비교한다.

 

...(공식2: 콘트라스트 비교)

 

또한 구조는 이미지에서 평균 밝기를 빼주고, 표준편차로 나눠준 것이라고 정의했다:

 

 

저자들은 이 둘의 상관계수를 구하는 것과 x, y의 상관계수를 구하는 것이 등가라고 판단해서, x, y의 상관계수를 구함으로 원본이미지와 왜곡이미지의 구조를 비교했다.

 

...(공식3: 구조 비교)

 

이 세가지 비교 항목을 아래와 같이 하나로 묶어주어, 품질 맵을 만든다.

 

...(공식4: SSIM 맵)

 

저자들은 이 SSIM을 전역적으로 적용하지 않고 지역적으로 적용했다. 그렇게 얻은 SSIM 맵의 픽셀 값들을 평균냄으로 최종 품질 점수를 얻었다.

 

다음 원본 이미지와 왜곡 이미지에 SSIM을 적용해 얻은 밝기비교맵, 콘트라스트비교맵, 구조비교맵, 그리고 최종적인 SSIM맵을 확인해보자. 밝을 수록 해당 지역의 품질은 좋은 것이고, 어두울 수록 품질이 나쁜 것이다.

 

그림1. 원본 이미지. (약 10년전 사진인데 참 촌스럽다 ㅋㅋ)

 

그림2. 왜곡된 이미지. JPEG 압축이 과도하게 되었다.

 

이 두 이미지의 밝기를 비교한 밝기 비교맵이다(공식1 참고).

 

그림3. 밝기비교맵.

 

전반적으로 흰색에 가깝기 때문에 밝기 부문에서는 왜곡 현상이 크지 않다는 것을 알 수 있다.

 

이번에는 콘트라스트를 비교한 콘트라스트 비교맵이다(공식2 참고).

 

그림3. 콘트라스트 비교맵.

 

벽돌들의 질감이 무뎌진 것과 하늘에 블락현상이 생긴 것을 잘 반영하고 있다.

 

이번에는 구조를 비교한 구조 비교맵이다(공식3 참고).

 

그림5. 구조비교맵.

 

대략적인 윤곽을 제외하고는 구조정보가 압축에 의해 많이 손상되었음을 알 수 있다.

 

마지막으로 이 세 가지를 종합한 최종적인 SSIM 맵이다.

 

그림6. SSIM 맵.

 

이 맵을 통해 우리는 벽돌의 질감이 무뎌진 것과 하늘에 블락현상이 생긴 것, 또한 인물의 디테일함이 사라진 것들이 지각 품질에 나쁘게 영향을 미쳤음을 알 수 있다. SSIM 점수는 1점 만점에 0.7967이었다.

 

MS-SSIM (multi-scale SSIM)

해당 논문: Z. Wang, E. P. Simoncelli, and A. C. Bovik. Multiscale structural similarity for image quality assessment. In Signals, Systems and Computers, 2004. Conference Record of the Thirty-Seventh Asilomar Conference on, pages 1398–1402 Vol.2, 2004.

 

MS-SSIM은 SSIM에 스케일 스페이스의 개념을 추가시킨 것이다. 여러 스케일에서 SSIM 점수를 산출한 다음에 가중곱해서 최종 스코어를 얻는다.

 

IW-SSIM (information content weighted MS-SSIM)

해당 논문: Z. Wang and Q. Li. Information content weighting for perceptual image quality assessment. IEEE Transactions on Image Processing, 20(5):1185–1198, 2011.

 

IW-SSIM은 MS-SSIM을 좀 더 발전시켜, SSIM 맵을 평균내서 점수를 내지 않고 정보 중요도에 따라 다른 가중치를 부여해서 점수를 냈다. 좀더 많은 정보량(information content)을 가진 픽셀의 품질 점수가 전체 품질 점수에 더 큰 영향을 미치도록 한 것이다. 

 

CW-SSIM (complex wavelet SSIM)

해당 논문: M. P. Sampat, Z. Wang, S. Gupta, A. C. Bovik, and M. K. Markey. Complex wavelet structural similarity: a new image similarity index. IEEE Transactions on Image Processing, 18(11):2385, 2009.

 

CW-SSIM은 컴플렉스 웨이블릿 도메인으로 SSIM을 확장시켰다. 기존 SSIM이 기하학적 왜곡과 스케일 왜곡에 매우 민감하다는 것을 개선하기 위해 CW-SSIM이 개발되었다. CW-SSIM의 핵심 아이디어는 작은 기하하적 이미지 왜곡은 지역 웨이블릿 계수에서 일관된 위상 변화를 일으키는데, 이 위상 변화는 이미지의 구조를 바꾸지는 않는다는 것이다. 그러니까 이미지의 구조를 바꾸지 않는 작은 기하학적 왜곡들은 용인해내도록 SSIM을 변형시킨 것이다.

 

FSIM (feature similarity)

해당 논문: L. Zhang, L. Zhang, X. Mou, and D. Zhang. Fsim: A feature similarity index for image quality assessment. IEEE Transactions on Image Processing, 20(8):2378–2386, 2011.

 

FSIM의 저자들은 원본이미지와 왜곡이미지를 그대로 놓고 비교하면 불필요한 정보들까지도 비교하게 된다고 보았다. 그래서 엣지와 zero-crossing등 저차원의 중요한 특성들을 가지고 품질을 비교하는 것이 더 낫다고 판단했다. 그들은 원본 및 왜곡 이미지에서 PC(phase congruency) 맵과 GM(gradient magnitude) 맵을 도출한 다음에 그 맵들간 유사도를 비교해서 지역 품질 맵을 만들었다. PC맵은 주파수 정보를 이용해서 산출한 엣지 맵이고, GM맵은 픽셀값의 변화를 이용해 계산해낸 엣지 맵이다. 그리고 PC 맵을 가중치로 이용해서 지역 품질 점수를 하나의 최종 품질 점수로 모았다.  FSIM의 Matlab 소스코드는 아래 링크에서 다운로드 받을 수 있다.

https://www4.comp.polyu.edu.hk/~cslzhang/IQA/FSIM/FSIM.htm

 

GSM (gradient similarity based metric)

해당 논문: A. Liu, W. Lin, and M Narwaria. Image quality assessment based on gradient similarity. IEEE Transactions on Image Processing, 21(4):1500–1512, 2012.

 

그레디언트는 이미지의 구조와 콘트라스트 변화를 잘 나타낸다. GSM은 그레디언트 정보의 유사도를 비교했다. 또한 이미지 밝기의 유사도를 추가적으로 비교했다. 최종적으로 그레디언트 유사도와 이미지 밝기 유사도를 하나의 스코어로 묶어주었다.

 

 

이상으로 이 글을 마치도록 하겠습니다. SSIM은 IQA를 연구하는 사람들에게 있어서는 매우 중요한 알고리즘입니다. 만약 이 분야에 입문하시고 싶은 분이시라면 SSIM부터 시작하시는 것을 추천드립니다.  

 

 

bskyvision의 추천글 ☞

[IQA] 이미지품질평가 분야의 셀럽, BRISQUE

[IQA] 표준편차 풀링을 제안한 GMSD, 빠름주의

 

 

<참고자료>

[1] Ren Y , Sun L , Wu G , et al. DIBR-synthesized image quality assessment based on local entropy analysis[C]// International Conference on the Frontiers & Advances in Data Science. IEEE, 2018. => SSIM 관련 알고리즘들 설명을 잘 해놓았음.