[논문 정리] Bosse, "Deep Neural Networks for No-Reference and Full-Reference Image Quality Assessment", TIP(2018)

논문 요약

저자들이 특성 도출을 위해 만든 네트워크는 10층의 컨볼루션 층과 5층의 maxpooling 층으로 구성되어 있다. 그리고 2개의 fully connected 층들이 회귀를 위해 존재한다. 도출된 특성은 로컬 품질과 로컬 가중치의 공동 학습에 사용된다. 그리고 최종적으로 로컬 품질 점수에 가중치를 부여하여 가중합함으로 최종점수를 얻는다. 결합 end-to-end 훈련을 위해 가중합으로 얻어낸 최종점수는 loss function에 활용된다.

 

FR IQA를 위해 제안한 알고리즘 (출처: 해당 논문)

 

 

NR IQA를 위해서는 위 프레임워크에서 Siamese Network 중 reference patch와 관련된 채널을 지운다. 아래 그림을 참고하자. 

 

 

NR IQA를 위해 제안한 알고리즘 (출처: 해당 논문)

 

유익한 내용 정리

저자들은 IQA 알고리즘을 크게 세 부류로 분류했다.

1) bottom-up 접근: HVS의 작동방식을 모델링하는 알고리즘들이 여기에 속한다. 

2) top-down 접근: HVS를 블랙박스로 보고 이미지 통계가 왜곡에 의해 변화한 정도를 캡쳐한다. 특성 도출 후 회귀 분석으로 이어지는 알고리즘들이 여기에 속한다.  

3) data-driven 접근: 특성 도출과 회귀 분석을 딥러닝 알고리즘에 맡긴다. 양질의 데이터가 필수적이다. 

나는 이렇게 분류한 것이 꽤 타당하다고 생각한다. 

댓글()