[MATLAB] grape-based visual saliency (GBVS)로 saliency 맵 산출하기

GBVS는 visual saliency 모델 중 하나입니다. visual saliency 모델은 이미지 내 시각적으로 중요한 부분들이 어딘지를 나타내주는 알고리즘입니다. GBVS에 대한 이론적 설명은 링크를 참고해주세요. 그리고 GBVS의 매트랩 소스코드는 [1]에서 받을 수 있습니다. 또한 GBVS에 대한 original 논문은 [2]입니다.

 

 

▶ 소스코드 테스트

 

소스코드를 다운 받으시면 폴더 내에 readme.txt에 어떻게 사용하는지 구체적으로 자세히 나와있습니다. 혹시 잘 모르시겠다면 댓글 달아주세요. 네 장의 사진의 GBVS를 통해 얻은 saliency 맵은 그림1에 있습니다. saliency 맵에서 밝은 부분일 수록 시각적으로 중요하다고 판단한 부분입니다. 

 

그림1. gbvs로 얻은 saliency 맵들

 

첫번째 빨간 차가 있는 사진을 제외하고는 적절하게 시각적 중요도에 따라 saliency 맵들이 산출된 것 같습니다. GBVS로 얻은 saliency 맵만 봐서는 GBVS가 효과적인지 아닌지 판단하기 어려우니 다른 saliency 알고리즘도 사용해보겠습니다. 위에 소개드린 GBVS 매트랩 소스코드를 담은 폴더 내에 Itti가 제안한 알고리즘[3]의 소스코드도 포함되어 있습니다. Itti가 제안한 이 알고리즘은 최초의 visual saliency 계산 모델이라고 볼 수 있습니다. 그림2는 Itti 알고리즘을 사용해 얻은 saliency 맵들입니다. 

 

그림2. [3]이 제안하는 모델로 얻은 saliency 맵들

 

이 방법도 괜찮은 결과를 산출하는 것 같습니다. 개인적인 소견으로 사람이 있는 사진에서는 GBVS가 좀 더 나은 saliency 맵을 만들어내는 것 같고, 풍경 사진에서는 [3]이 좀 더 나은 결과를 내는 것 같습니다. 

 

 

<참고 자료>

[1] http://www.vision.caltech.edu/~harel/share/gbvs.php

[2] J. Harel, C. Koch, and P. Perona. "Graph-Based Visual Saliency", NIPS 2006

[3] L. Itti, C. Koch, & E. Niebur "A model of saliency based visual attention for rapid scene analysis", IEEE Transactions on Pattern Analysis and Machine 1998