[논문 정리] Oh, "Deep Visual Discomfort Predictor for Stereoscopic 3D Image", TIP(2018)


이 논문에서 제안하는 스테레오스코픽 3D(stereoscopic 3D, S3D) 이미지 시각 불편도 예측(visual discomfort prediction, VDP) 모델은 다음과 같은 알고리즘을 갖고 있다. 

 

1) 훈련셋에 속하는 S3D 이미지들을 로컬 패치로 분할한다.

2) 각 로컬 패치의 의사품질점수를 기존의 S3D-VDP 모델로 얻는다.

3) 로컬 패치들과 그것들의 의사품질점수들을 이용해서 로컬 패치의 품질 점수를 예측할 수 있는 패치 기반 CNN 모델을 훈련시킨다.

4) 훈련된 패치 기반 CNN 모델에 훈련셋의 S3D 이미지의 로컬 패치들을 입력해서 패치당 200개의 특성을 얻는다.

5) 하나의 S3D 이미지 내의 로컬 패치들마다 얻은 200개의 특성을 로컬 특성 종합 레이어에 통과시킴으로 800개의 특성이 되게 해준다. 800개의 특성과 MOS 값을 이용해서 회귀 함수를 훈련시킨다. 이 과정에서 패치 기반 CNN 모델의 가중치들도 재보정된다.