[논문 정리] Gao, "DeepSim: Deep similarity for image quality assessment", Neurocomputing (2017)

논문 요약

저자들은 다른 과제를 위해, 예를 들어 이미지 분류 과제를 위해 미리 훈련된(pretrained) 딥러닝 모델이 이미지 품질 평가(IQA)에 효과적으로 사용될 수 있을지에 대한 답을 이 논문에서 한다. 답은 Yes이다. 또한 딥러닝 모델 내의 다양한 요소들, 예를 들어 전처리, 활성화, 최대 풀링, 소프트맥스, 망의 깊이 등이 IQA 성능에 어떤 영향을 미치는지를 조사했다. 

 

저자들은 미리 훈련된 VGG16에 원본 이미지와 왜곡 이미지를 입력해서 얻은 여러 층에 존재하는 여러 개의 특성맵들의 구조 유사도(structural similarity)를 비교해서 얻은 여러 개의 품질 점수들을 종합함으로 왜곡 이미지의 품질 점수를 결정했다. SSIM 알고리즘을 이용해서 구조 유사도를 결정했다. 아래 그림은 저자들이 제안한 Full-reference IQA 알고리즘의 구조도이다.  

 

출처: 해당 논문

 

실험 결과 테스트 이미지를 224 x 224로 축소시키고 평균 훈련 이미지를 빼주는 전처리 과정은 IQA 성능에 도움이 되는 것으로 판명되었다. 테스트 이미지의 크기를 축소시킴없이 평균 훈련 이미지를 테스트 이미지의 크기에 맞춘 것을 빼준 것에 비해 좀 더 나은 예측 정확도를 보였다. 

 

또한 중후반 층의 특성 맵이 IQA 성능에 좀 더 유용함을 확인했다. 중후반 층의 특성 맵의 유사도가 주관 품질 점수와 더 높은 상관도를 보였다(아래 그림 참고).

출처: 해당 논문

또한 위 그래프에서 알 수 있는 것은 ReLU 활성화와 최대 풀링을 거친 특성 맵들이 IQA에 효과적이라는 것이다. 

 

저자들은 여러 특성맵에서 얻은 품질 점수를 종합할 때 다양한 풀링 전략을 시도했다. 평균 풀링, 백분위 풀링, 표준편차(SD) 풀링, 평균 절대 편차(MAD) 풀링, SD와 MAD를 가중합한 풀링, 이렇게 다섯 개 전략을 시도했다. 저자들은 그 중 가장 나은 전략은 먼저 각 층의 점수를 평균 낸 다음에 그것을 다시 평균내는 것, 즉 평균 풀링이라고 보고했다. 아래 그림을 보면 알 수 있다. AVG로 표시된 부분의 PLCC 값들이 가장 높다.  

 

출처: 해당 논문

 

댓글()