[IQA] 미리 훈련된 CNN으로 얻은 특성맵들의 품질로 이미지의 품질을 평가하는 모델, DeepSim

안녕하세요. 비스카이비전의 심교훈입니다. 오늘은 Fei Gao 등에 의해 2017년에 제안된 DeepSim이란 이미지품질평가(image quality assessment, IQA) 모델에 대해서 소개해드리려고 합니다. 이 모델에 관한 original paper의 제목은 "DeepSim: Deep similarity for image quality assessment"입니다. 

 

저자들은 다른 과제를 위해, 예를 들어 이미지 분류 과제를 위해 미리 훈련된(pretrained) 컨볼루션 신경망(convolutional neural network, CNN) 모델이 이미지 품질 평가(IQA)에 효과적으로 사용될 수 있을지에 대해 질문을 던졌습니다. 그들의 답은 Yes입니다. 미리 훈련된 CNN 모델이 IQA에 유용하게 쓰일 수 있음을 저자들은 이 논문을 통해 밝혔습니다. 또한 딥러닝 모델 내의 다양한 요소들, 예를 들어 전처리, 활성화, 최대 풀링, 소프트맥스, 망의 깊이 등이 IQA 성능에 어떤 영향을 미치는지를 조사했습니다. 

 

저자들은 미리 훈련된 VGG16에 원본 이미지와 왜곡 이미지를 입력해서 얻은 여러 층에 존재하는 여러 개의 특성맵들의 구조 유사도(structural similarity)를 비교해서 얻은 여러 개의 품질 점수들을 종합함으로 왜곡 이미지의 품질 점수를 결정했다. 참고로 VGG16은 2014년 ImageNet 대회에서 2등을 차지했던 이미지 분류 모델입니다. 그들은 구조 유사도를 계산할 때 SSIM 알고리즘을 이용했습니다. 아래 그림은 저자들이 제안한 Full-reference IQA 알고리즘의 구조도입니다. 

 

DeepSim은 어떻게 작동하는가? [출처: 해당 논문]

 

그들은 실험을 통해 테스트 이미지를 224 x 224로 축소시키고 평균 훈련 이미지를 빼주는 전처리 과정은 IQA 성능에 도움이 된다고 판명을 내렸습니다. 테스트 이미지의 크기를 축소시킴없이 평균 훈련 이미지를 테스트 이미지의 크기에 맞춘 것을 빼준 것에 비해 좀 더 나은 예측 정확도를 보였습니다. 

 

또한 중후반 층의 특성맵이 IQA 성능에 좀 더 유용함을 확인했습니다. 중후반 층의 특성 맵의 유사도가 주관 품질 점수와 더 높은 상관도를 보였습니다(아래 그림 참고).

 

출처: 해당 논문

 

또한 위 그래프에서 알 수 있는 것은 ReLU 활성화와 최대 풀링을 거친 특성 맵들이 IQA에 효과적이라는 것입니다.  

 

저자들은 여러 특성맵에서 얻은 품질 점수를 종합할 때 다양한 풀링 전략을 시도했습니다. 평균 풀링, 백분위 풀링, 표준편차(SD) 풀링, 평균 절대 편차(MAD) 풀링, SD와 MAD를 가중합한 풀링, 이렇게 다섯 개 전략을 시도했습니다. 저자들은 그 중 가장 나은 전략은 먼저 각 층의 점수를 평균 낸 다음에 그것을 다시 평균내는 것, 즉 평균 풀링이라고 보고했습니다.

 

이 논문의 작은 문제점:

- 저자들은 SROCC, KROCC를 계산할 때도 non-linear fitting을 사용한 것 같습니다. 이것은 잘못된 것입니다. PLCC, RMSE를 계산할 때만 non-linear fitting을 해줘야 합니다.