논문 요약
슈퍼픽셀간의 유사도를 비교하는 2D FR IQA 알고리즘을 제안하는 논문이다. 이미지 패치와 달리 슈퍼픽셀은 유사한 시각 특성을 공유하는 이미지 픽셀들의 모음이다. 그러므로 지각적으로 더 의미가 있다.
슈퍼픽셀 밝기 유사도, 슈퍼픽셀 색상 유사도, 픽셀 그레디언트 유사도를 구한 것을 종합해서 이미지의 품질을 평가한다. 그 중에서 슈퍼픽셀 밝기 유사도는 다음과 같이 구한다.
픽셀 그레디언트 유사도는 다음과 같이 구한다.
이 세가지 유사도를 구할 때 regional gradient consistency(RGC)가 더 정확하게 조정하는데 도움을 준다. 구체적으로 말해서 T1과 T2를 세팅하는데 공헌한다. RGC는 원본 이미지와 왜곡 이미지의 슈퍼픽셀의 그레디언트가 얼마나 큰 상관성을 갖고 있는지를 나타낸다. 물리적으로 말하면 큰 RGC는 두 슈퍼픽셀이 유사한 구조를 갖는다는 것을 의미한다.
sign(x)는 x가 양수면 1, 음수면 -1을 반환하는 함수다. 따라서 IDG는 -1이상 1이하의 값을 갖게 된다. IDG가 1에 가까우면, 그레디언트가 왜곡을 통해 대체적으로 증가했다는 것이다. 반면 -1에 가까우면 그레디언트가 왜곡을 통해 대체적으로 감소했다는 것이다.
psgn(x)은 x가 0이상이면 1을 반환하고, 그렇지 않으면 0을 반환하는 함수다. 따라서 u0의 경우 RGC가 tau0이상이면 1을 반환하고, 아니면 0을 반납한다. u1의 경우 IDG가 tau1이상이면 1을 반환하고, 아니면 0을 반납한다. u2의 경우 IDG가 -tau1 이하면 1을 반환하고, 아니면 0을 반납한다. 저자들은 tau0과 tau1을 경험적으로 0.6으로 세팅했다.
u0=1은 물리적으로 원본 이미지와 왜곡 이미지의 슈퍼픽셀의 그레디언트의 상관성이 꽤 높다는 것이다. u1=1은 왜곡 이미지 슈퍼픽셀의 그레디언트가 원본 이미지 슈퍼픽셀의 그레디언트보다 전반적으로 크다는 것이다. u2=1은 원본이미지 슈퍼픽셀의 그레디언트가 왜곡이미지 슈퍼픽셀의 그레디언트보다 전반적으로 크다는 것이다.
따라서 IF_A = u0u1 = 1은 이미지가 향상된 경우를 의미한다(내 생각엔 콘트라스트가 좋아진 것을 의미하는 듯). (그리고 IF_B = u0u2 = 1은 이미지의 콘트라스트가 나빠진 것을 의미하는 것 같다.)
저자들은 경험적으로 C1=600, C2=210으로 설정했다. 또한 lambda1 = 40000, lambda2 = 950으로 설정했다. 따라서 IF_A가 1인 경우에는 첫번째항과 두번째항이 작동하고, IF_B가 1인 경우에는 첫번째항과 세번째항이 작동한다. 둘다 1이 아닌 경우에는 첫번째항만 작동한다.
결과적으로 A 타입 또는 B 타입의 슈퍼픽셀이면 왜곡으로 인한 열화를 과대평가하지 않도록 T1과 T2가 커진다.
최종 유사도 맵은 다음과 같은 공식으로 산출한다.
저자들은 alpha = 0.05, beta = 0.35로 설정했다. 슈퍼픽셀 색상 유사도의 영향이 전체 유사도에 많이 미치지 않도록 설정했다. 왜냐하면 색상보다는 밝기의 유사도가 더 중요하기 때문이다.
픽셀 단위 품질 점수를 최종 점수로 합산할 때 원본 이미지와 왜곡 이미지의 슈퍼픽셀의 텍스쳐 복잡도(TC, texture complexity) 차이가 가중함수를 만드는데 활용된다.
TC는 다음과 같은 과정으로 구한다. CI(contrast intensity)는 슈퍼픽셀의 표준편차로 구하고, ST(structureness)는 픽셀 세기들의 첨도로 구한다.
코드 구현 및 분석
RGC 맵에서는 원본 슈퍼픽셀과 왜곡 슈퍼픽셀의 구조가 유사할수록 어둡게 표현되어 있다.
하얀 부분은 A타입 또는 B타입의 슈퍼픽셀들이다.
TC 맵들은 텍스쳐 복잡도를 슈퍼픽셀 단위로 꽤 잘 나타내고 있는 것으로 보인다.
종합유사맵을 확인해봤을 때 저자들은 픽셀 그레디언트 유사맵이 가장 큰 비중을 차지하게 파라미터를 설정한 것 같다.
의문점
1. FR 방법인데 F-test를 할 수 있나? 어떻게 했는지 확인해보자.