논문 요약
사람이 스테레오 이미지를 볼때 어디에 주목하는지를 고려해서 시각적 편안도 평가(visual comfort assessment; VCA) 매트릭을 만들었다. 왜냐하면 시각적으로 중요한 부분이 시각적 불편도(visual discomfort)의 전반적인 정도를 결정할 때 중요한 역할을 하기 때문이다. 먼저 디스패리티 맵에서 만들어진 깊이 사일리언시 맵과 이미지 사일리언시 맵을 선형 결합해서 시각적 중요 맵을 만든 후, 디스패리티와 관련된 특성들(saliency-weighted absolute disparity (MSAD), saliency-weighted absolute differential disparity (MSADD))을 도출한다. 그리고 SVM을 훈련시킨 후 예측 결과를 얻는다. 성능 평가를 위해 주관 평가 실험을 실시한 후 데이터베이스를 구축했다. 실험 결과 기존의 방법들보다 높은 예측 정확도를 보였다.
추가 설명
-시각적 불편함을 야기하는 요인들: 과도한 디스패리티, 좌우 이미지들의 불일치, 깊이 단서 혼란.
-기존의 VCA 알고리즘들: 글로벌 디스패리티 통계 사용, 예를 들어 디스패리티 값들의 평균과 표준 편차를 사용. Choi [1], Lambooij [2], Kim [3].
-디스패리티 맵을 얻기 위해 semi-automatic DERS 사용함 [4].
-이미지 사일리언시 맵을 얻기 위해 graph-based visual saliency (GBVS) 사용함 [5]. GBVS는 밝기, 방향, 컬러 맵들을 사용해서 사일리언시 맵을 얻는 상향식 방법이다.
-디스패리티 맵에서 가까이 있는 물체가 멀리 있는 물체보다 좀 더 관심을 끈다는 가정하에, 디스패리티 맵에서 깊이 사일리언시 맵을 만들었다.
-(시각적 중요 맵) = 0.5*(이미지 사일리언시 맵) + 0.5*(깊이 사일리언시 맵)
-Panum's fusional area: 두 망막에 맺힌 상이 융합될 수 있는 한도를 의미한다. 시각적 불편함을 느끼지 않고 융합될 수 있는 적절한 스테레오 깊이 지각을 허용한다.
-disparity magnitude을 측정하기 위해 MSAD 값의 평균값을 구했고, disparity gradient을 측정하기 위해 MSADD의 평균값을 구했다.
-SVM에 대한 소스코드는 [6]에서 다운로드 받을 수 있다.
-데이터베이스 소개: 120쌍의 스테레오 이미지가 존재하고, 최대 디스패리티의 범위는 0에서 285픽셀이다.
<참고 자료>
[1] J. Choi, D. Kim, B. Ham, S. Choi, and K. Sohn, “Visual fatigue evaluation and enhancement for 2D-plus-depth video,” in Proc. IEEE ICIP, 2010, pp. 2981–2984.
[2] M. Lambooij, W. A. IJsselsteijn, and I. Heynderickx, “Visual discomfort of 3D TV: Assessment methods and modeling,” Displays, vol. 32, no. 4, pp. 209–218, 2011.
[3] D. Kim and K. Sohn, “Visual fatigue prediction for stereoscopic image,” IEEE Trans. Circuits Syst. Video Technol., vol. 21, no. 2, pp. 231–236, Feb. 2011.
[4] M. Tanimoto, T. Fujii, and K. Suzuki, Depth Estimation Reference Software (DERS) 5.0, ISO/IEC JTC1/SC29/WG11 M16923, Oct. 2009.
[5] J. Harel, C. Koch, and P. Perona, “Graph-based visual saliency,” in Proc. Advanced Neural Inform. Process. Syst., vol. 19, pp. 545–552, 2007.
[6] https://www.csie.ntu.edu.tw/~cjlin/libsvm/