논문 요약
VSNR은 near-threshold 및 suprathreshold 왜곡에 모두 작동하는 IQA 알고리즘이다. near-threshold는 "역치값과 비슷하거나 살짝 큰"을 의미하고, suprathreshold는 "역치값보다 큰"을 의미한다.
VSNR은 두단계로 작동한다. 첫번째 단계에서는 왜곡 감지에 대한 contrast threshold가 웨이블릿 기반 모델을 통해 산출된다. 좀 더 자세히 말하면, 컨트라스트 민감도와 visual masking과 같은 HVS의 저차원 특성을 이용해서 왜곡이 눈에 감지되는지 체크한다. 만약 왜곡이 눈에 감지되지 않는다고 판단되면(문턱값을 넘지 못하면) 가장 높은 품질 점수를 주고 다음 단계로 넘어가지 않는다. 반면 왜곡이 눈에 감지된다고 판단되면(문턱값을 넘으면) 두번째 단계로 넘어간다. 두번째 단계에서는 인지된 컨트라스트의 저차원 시각 특성과 global precedence의 중차원 시각 특성을 구조 열화의 대체적 측정으로 고려한다.
저자들은 RMS contrast의 계산의 용이성과 저차원 중차원 시각 특성을 통합하는 웨이블릿 기반 방법을 제안한다. 이 알고리즘은 다음과 같은 순서로 품질을 측정한다.
1) 전처리: DWT를 실시한다.
2) 왜곡의 검출 가능성을 평가: 각 공간주파수에 대해 콘트라스트 검출 문턱값을 계산한다. 그리고 각 공간주파수에 대해 실제 왜곡 콘트라스트를 측정한다. 콘트라스트 검출 문턱값보다 실제 왜곡 콘트라스트가 작으면 품질 손상이 없다고 판단한다. 그리고 알고리즘은 종료된다.
3) VSNR 산출: 왜곡의 인지된 콘트라스트를 계산한다. global precedence 방해정도를 계산한다. VSNR을 산출한다.
이 논문에서는 기존의 FR-IQA 알고리즘을 네 그룹으로 분류했다.
1) 계산적으로 편리한 방법들
여기에는 MSE, PSNR, RMS contrast가 포함된다. RMS contrast는 에러에 이미지의 평균 밝기를 더한 것의 표준편차를 측정한 것이다.
2) Near-threshold 정신물리학 기반 방법들
콘트라스트 민감도(contrast sensitivity)를 IQA에 적용하려는 노력이 이루어졌다. 사람이 왜곡을 감지하기 위해서는 왜곡의 콘트라스트가 콘트라스트 검출 문턱값(contrast sensitivity threshold)보다는 커야한다. 왜곡에 대한 콘트라스트 민감도는 왜곡의 공간 주파수와 마스크인 이미지의 특성에 달려 있다고 여러 연구들은 밝혔다. 공간 주파수의 함수로 콘트라스트 민감도를 나타낸 것은 CSF이고, 마스크의 함수로 콘트라스트 민감도를 나타낸 것은 masking이다.
이러한 콘트라스트 민감도와 마스킹 현상을 고려한 방법들이 저차원 near-threshold 특성 기반 방법들이라고 말할 수 있다. 이러한 방법들은 원본 및 왜곡 이미지에 공간 주파수 분해(spatial frequency decomposition)를 실시한다. CSF는 서브밴드 분해 전에 이미지에 CSF 형태의 필터를 적용하는 방식으로 고려되거나, 서브밴드 필터들의 상대적 게인을 적절히 조정하는 방식으로 고려된다. masking은 왜곡의 특성과 마스크 이미지의 특성을 고려하는 방식으로 적용된다. 결과적으로 산출된 원본 및 왜곡 이미지의 서브밴드 계수들의 크기가 충분히 차이나면 왜곡이 보이는 것으로 판명한다. 따라서 이러한 방법은 왜곡의 존재유무를 판단하는데는 매우 효과적이다. 그러나 suprathreshold 왜곡과 관련해서는 품질 평가에 한계를 보인다. 정리하자면 이 유형의 방법들은 near-threshold 왜곡에는 효과적이지만, suprathreshold 왜곡에는 한계를 갖는다.
3) 매우 중요한 원리 기반 방법들
SSIM, IFC, VIF와 같은 방법들이 포함된다. IFC는 왜곡 이미지의 시각적 충실도는 원본 이미지에 대해 제공하는 정보의 양에 의해 측정될 수 있다는 가설 하에 세워졌다. VIF는 IFC의 확장버전이다.
이 방법들은 이미지의 저차원적 특성을 무시한다는 단점이 있다.
4) 그 외의 방법들
멀티스케일 이론을 적용한 방법들도 있었다. 이미지 내에 시각적으로 중요한 위치를 고려하는 방법들도 있었다.
논문 내 유익한 내용 정리
1. 콘트라스트가 높은 마스크와 함께 왜곡이 존재할 때는 왜곡이 감지되기가 어려워진다.
2. 사람들은 왜곡이미지의 시각적 충실도를 판단할 때, 엣지 위에 존재하는 왜곡들이 영향을 고려하는 경향이 있다.
3. global precedence는 사람 시각 시스템이 전역적 정보를 국지적 정보보다 먼저 처리한다는 가설을 의미한다. global precedence를 방해하는 왜곡이 이미지의 시각적 충실도에 훨씬 더 큰 영향을 미친다. 결국 더 두꺼운 엣지가 왜곡된 것을 얇은 엣지가 왜곡된 것보다 품질 평가에 더 크게 반영하겠다는 것이다.
4. V2에서 global precedence에 대한 생리학적 증거들이 관찰되었다. Willmore는 V2 세포들이 엣지 표현을 향상시키기 위해 공간 주파수에 걸친 활동도를 통합한다.