논문 요약
시각적으로 중요한 부분에서 왜곡이 일어나는 것이 전체 이미지 품질을 판단할 때 더 치명적인 영향을 미친다는 전제하에 이미지 품질 평가에 visual saliency를 고려한다. 하지만 우리는 두 가지 문제를 생각해볼 필요가 있다. 첫번째는 원래 이미지에서 중요하지 않은 부분의 왜곡 현상이 우리의 주의를 끌 수 있다는 것이다. 두번째는 품질 평가의 관점에서 이미지를 보는 것과 우리가 보통 이미지를 보는 방식은 차이가 있을 수 있다는 것이다.
이미지 품질 평가의 관점에서 이미지를 볼 때 우리가 주목하는 부분과 평소 이미지를 볼 때 우리가 주목하는 부분이 차이가 있는지를 분석하기 위해 여러 가지의 subjective study를 실시했다. 이를 위해 왜곡된 이미지의 품질 점수를 매기는 동안의 eye-tracking 데이터로 saliency map(이것을 DSS라고 명칭)을 만들었다. 쉽게 말해 왜곡된 이미지의 품질 점수를 평가할 때 시선이 머문 곳을 파악했다는 것이다. 그리고 또한 일반 이미지(고품질 이미지)를 그냥(품질 평가의 관점이 아닌) 보는 동안의 eye-tracking 데이터로 saliency map(이것을 NSS라고 명칭)을 만들었다. 그리고 이 두 개의 saliency map을 비교해봤다. 그랬더니 분명 차이가 있었다.
우선 품질이 나쁜 이미지에서 생성된 DSS일수록 NSS와 차이가 커졌다(아래 그림 오른쪽 참고). 하지만 이미지가 비슷한 정도로 왜곡되었다면 이미지에 가해진 왜곡 유형이 다르더라도 생성된 DSS는 NSS와 비슷한 정도의 차이를 보였다(아래 그림 왼쪽 참고). 즉, 왜곡의 유형보다는 강도가 NSS와의 차이에 더 큰 영향을 미친다는 것이다.
그럼 실질적으로 어떻게 DSS가 NSS에서부터 달라지는가를 살펴볼 차례다. 저자들은 저품질의 이미지를 평가할 때 고품질의 이미지를 평가할 때에 비해 관심 영역의 넓이가 작아졌다는 것을 발견했다. 그 이유는 저품질의 이미지를 평가할 때는 고품질 이미지를 평가할 때에 비해 시선이 배경쪽으로 분산됨으로 이미지 내에서 충분한 관심을 받은 부분이 줄어든 것이다.
또한 저자들은 품질이 좋은 이미지를 평가할 때 저품질의 이미지를 평가할 때에 비해 더 많은 시간을 소요한다는 것을 관찰했다. 품질이 좋은 이미지일수록 더 주의깊게 품질이 어떠한지 살핀다는 뜻이다.
또한 저자들은 품질을 평가하기 위해 이미지를 볼 때 이미지를 그냥 볼 때에 비해 더 자세하게 본다는 것을 확인했다. 관심영역이 아닌 부분도 주의깊게 보는 비율이 증가했다(아래 그림 참고).
논문 내 유익한 내용 정리
1) 사람의 시각 시스템은 이미지 내에서 중요한 정보를 담고 있는 부분에 집중하고 나머지 부분은 무시하는 경향이 있다. 왜냐하면 컴퓨터와 같이 인간의 뇌도 정보 처리 용량에 한계가 있기 때문이다.
내 생각
단순히 이미지 내에서 시각적으로 중요한 부분의 품질에 더 큰 가중치를 부여하여 이미지의 종합적 품질을 결정하는 것은 저자들이 제기한 문제를 제대로 반영할 수 없다. 왜냐하면 이미지의 품질을 평가할 때 관찰자들은 실제로 중요한 부분이 아닌 다른 부분도 관심있게 보는 경향이 있기 때문이다. 그냥 이미지를 볼 때와 다른 방법으로 이미지를 본다는 것이다.
왜곡의 정도가 커질수록 NSS와 DSS의 차이는 커지기 때문에, 왜곡의 정도가 클 때는 saliency map에 덜 의존하는 쪽으로 saliency 정보를 이미지 품질 평가 모델에 적용하는 것도 하나의 방법이 될 것 같다.