[3D 비전] 양안 경쟁(binocular rivalry) 및 양안 억제(binocular suppression)의 이해

하나의 분야를 연구해나가면서 점점 모르는 것을 알아간다는 것은 참 신나는 일이다. 그런데 동시에 내가 모르는 세계가 여전히 참 넓다는 것을 발견해나가는 과정이기도 하다. 3D 비전에 대해 연구하고 관련된 논문도 써왔지만, 여전히 공부해야할 영역이 많다. 내 블로그는 공부했던 내용 중에 누군가에게 도움이 될 만한 내용들을 정리하는 공간이다. 조금이나마 도움이 되길 바라며 오늘도 신나게 키보드를 두드린다.  

▶ 양안 경쟁 현상과 양안 억제 현상

우리는 왜 두 개의 눈을 가지고 있을까? 하나 다쳤을 때를 대비한 것일까? 본다는 것이 인간의 오감 중에서도 가장 중요한 역할을 하기 때문에 이 또한 말이 될 것이다. 하지만 더 중요한 이유가 있다. 우리의 두 눈은 어떤 장면이나 물체를 볼 때 조금 다른 각도로 본다. 왜냐하면 평균적으로 두 눈이 65mm 정도 떨어져 있기 때문이다. (물론 미간이 넓은 사람도 있고 좁은 사람도 있지만.) 

우리는 살짝 떨어져 있는 두 눈이 있기 때문에 물체를 입체적으로 볼 수 있게 된다. 깊이를 인지할 수 있게 된 것이다. 우리가 깊이를 인지하게 되는 것에는 여러 단안 요인(monocular cue)들도 있지만, 가장 큰 이유는 두 눈으로 봤을 때 약간의 다름 즉, 시차(disparity)가 있기 때문이다. 

보통 우리가 두 눈으로 보는 장면은 상당히 유사하다. 그렇기 때문에 우리의 뇌는 이를 깊이 정보를 가진 하나의 이미지로 융합할 수 있다. 하지만 만약에 두 눈에 서로 다른 장면이 제시된다면 어떤 현상이 일어날까? 일반적으로는 이런 현상이 일어나기 어렵지만, 어떤 장치를 이용해서 일부러 두 눈이 다른 영상을 보게 한다면 가능할 것이다. 이때 바로 양안 경쟁(binocular rivalry) 현상이 일어난다. 왼쪽 눈에 보이는 영상이 인지되었다가, 오른쪽 눈에 보이는 영상이 인지되었다가 또 다시 왼쪽 눈에 보이는 영상이 인지 되는 등 두 눈에 보이는 영상이 서로 경쟁을 일으키는 것이다. 

그림1. 양안 경쟁. 왼쪽, 오른쪽 눈에 제시된 자극이 번갈아가면서 인지된다.

그런데 어떤 경우에는 경쟁에서 완전히 이겨서 아예 한쪽 눈에 제시된 영상이 다른 쪽 눈에 제시된 영상을 억제하기도 한다. 이런 경우를 양안 억제(binocular suppression)라고 한다. 왼쪽 눈에 제시된 영상 또는 오른쪽 눈에 제시된 영상만을 인지한다.  

그림2. 양안 억제. 왼쪽 또는 오른쪽에 제시된 자극이 다른 쪽 눈에 제시된 자극을 항상 이긴다.

이러한 양안 억제 현상을 이용해서 스테레오 이미지와 스테레오 비디오를 다른 정도로 압축하는 방법을 제시하는 논문들도 있다고 한다. 스테레오 이미지는 왼쪽 뷰 이미지와 오른쪽 뷰 이미지 두 장으로 구성되어 있는데, 양안 억제 현상이 일어날 것을 예상해서 한쪽 뷰 이미지를 더 많이 압축시키는 것이다. 품질이 좋은 이미지가 품질이 나쁜 이미지를 억제시킬 것을 기대하는 것이다. 압축을 많이 시킬 수록 더 적은 용량을 갖게 되는 것이니 용량을 줄이는 면에서 합리적이다.  

▶ 양안 억제 현상과 이미지 품질 간의 관계

양안 억제 현상과 이미지 품질의 관계를 연구한 논문들이 있다. 내가 연구하는 분야와 관련이 큰 논문들이라 정리를 해보았다.  

Stelmach과 Tam은 스테레오 이미지가 MPEG-2(blockiness 왜곡을 야기함)로 왜곡되었을 때는 두 단안 이미지의 평균 품질이 양안 품질을 반영하고, low-pass filtering(blur 왜곡을 야기함)로 왜곡되었을 때는 양안 품질이 고품질 단안 이미지에 의해 지배된다고 발표했다[5].  

Stelmach과 Tam의 연구 결과와 동일하게 Meegan 등도 비대칭적으로 MPEG-2에 의해 왜곡된 스테레오 이미지의 양안 품질은 대략 단안 품질의 평균에 가깝고, blur에 의해 왜곡된 스테레오 이미지의 양안 품질은 고품질 단안 이미지에 의해 지배된다고 연구했다[3]. 

Seuntiens 등은 스테레오 이미지가 JPEG 압축에 의해 비대칭적으로 왜곡되었을 경우 두 단안 이미지의 평균 품질이 양안 품질을 반영한다는 것을 실험을 통해 밝혔다[4]. 

Chen 등은 white noise와 JPEG로 왜곡된 스테레오 이미지의 경우 양안 억제 현상을 관찰하지 못한 반면, blur와 JP2K로 왜곡된 스테레오 이미지에서는 양안 억제 현상을 관찰했다[1]. 또한 그들은 이전 연구들과 다르게 blur, JP2K, JPEG로 왜곡된 스테레오 이미지의 양안 품질은 단안 품질의 평균으로 결정되지 않고, white noise로 왜곡된 스테레오의 경우만 단안 품질의 평균으로 결정될 수 있다고 발표했다. 또한 blur, JP2K, JPEG으로 비대칭적으로 왜곡된 스테레오 이미지의 경우, 지역 콘트라스트가 큰 부분에 위치한 왜곡이 더 잘 보이게 된다고 밝혔다. blur와 JP2K로 비대칭적으로 왜곡된 스테레오 이미지의 경우, 깊이 변화가 큰 부분에 위치한 왜곡이 더 잘 보인다고 보고했다. 

이 연구 내용들을 종합해보자. block 왜곡(MPEG-2, JPEG)과 white noise가 있는 스테레오 이미지의 경우 양안 억제 현상을 관찰하기 힘든 반면, blur와 JP2K 왜곡이 있는 스테레오 이미지의 경우 양안 억제 현상을 관찰할 수 있다. 특히 white noise를 제외한, blur, JP2K, JPEG 왜곡이 이미지내 지역 콘트라스트가 큰 부분에 위치한 경우 더 잘 눈에 띄게 된다.   

Blur, JP2K => Strong binocular suppression

JPEG, WN => No binocular suppression or weak binocular suppression

<참고 문헌>

[1] M. -J. Chen, A. C. Bovik, L. K. Cormack, Study on distortion conspicuity in stereoscopically viewed 3D images, in: IEEE 10th IVMSP Workshop, 2011, pp.24–29. => 정독하자. 

[2] Chen M J , Su C C , Kwon D K , et al. Full-reference quality assessment of stereopairs accounting for rivalry[J]. Signal Processing: Image Communication, 2013, 28(9):1143-1155. 

[3] D. V. Meegan, L. B. Stelmach, and W. J. Tam, Unequal weighting of monocular inputs in binocular combination: implications for the compression of stereoscopic imagery.”, Journal of Experimental Psychology: Applied 7, 143-153, 2001.

[4] P. Seuntiëns, L. Meesters, and W. Ijsselsteijn, "Perceived quality of compressed stereoscopic images: Effects of symmetric and asymmetric JPEG coding and camera separation," ACM Trans. Appl. Percept., vol.3, no.2, pp. 95-109, 2006.

[5] Stelmach, L. B. and Tam, W. J. 1998. Stereoscopic image coding: effect of disparate image quality in left- and right-eye views. Signal Processing: Image Communications 14, 111–117.

[6] Robert Snowden 등 지음, "Basic Vision", OxfordUniversityPress(2006)