[IQA] 왜곡으로 인한 artifact를 블러, 노이즈, 블락으로 분류해서 다룬 BNB

오늘은 BNB라는 이름의 NR IQA 모델에 대해 소개시켜드리겠습니다. 이 논문의 original 논문은 2017년에 TCSVT에 게재된 "BNB Method for No-Reference Image Quality Assessment"입니다. 저자들은 플로리다 대학의 Fang 등입니다. 

 

저자들은 왜곡으로 인한 인공산물(artifact)은 크게 블러(blurriness), 노이즈(noiseness), 블락(blockiness)으로 나눌 수 있다고 봤습니다. 그래서 이 셋 각각의 정도를 측정한 것을 종합해서 품질을 평가하는 알고리즘을 개발했습니다. 이 모델의 이름이 BNB인 이유는 예측하셨겠지만, 블러, 노이즈, 블락의 앞 스펠링을 따서 만들었기 때문입니다.

 

먼저 블러, 노이즈, 블락의 정도를 측정하기 위해 이미지 내 인접한 픽셀들의 차이는 평균 0, 분산 $\sigma$인 일반화된 라플라스 분포(generalized Laplace distribution)를 따른다는 사실을 활용했습니다.

 

라플라스 분포는 이렇게 뾰족하게 생겼습니다

 

특히 라플라스 분포와 관련해서 중요한 특성을 4가지 발견했습니다. 

 

1) 하나의 이미지가 같은 사이즈로 다운샘플된 이미지들($I_0$, $I_1$, $I_2$)의 경우, $I_1-I_0$ 데이터셋과 $I_2-I_1$ 데이터셋은 유사한 통계적 특성을 지닌다. 

2) 이웃 픽셀간의 세기차의 분포는 그 이웃들이 멀리 떨어져 있을 수록 점점 더 큰 분산값을 가진 라플라스 분포가 된다. 

3) 이미지를 저주파필터(lowpass filter) 처리한 것과 처리되기 전 이미지의 픽셀값의 차이 역시 라플라스 분포를 따른다.  

4) 고주파필터(highpass filter)에 의해 처리된 이미지의 이웃 픽셀값들의 차이도 라플라스 분포를 따른다.

 

위 네가지 특성들을 말로 표현해보긴 했는데, 저 스스로 부족함을 느낍니다. 더 제대로 이해하시기 위해서는 original 논문을 참고하시기 바랍니다.

 

아무튼 저자들은 이러한 네가지 통계적 특성을 이용해서 블러, 노이즈, 블락에 대한 각각의 점수를 산출해냈습니다. 그 다음에 그 세개의 점수를 하나의 품질 점수로 종합하기 위해 kNN(k-nearest neighbor)을 사용했습니다. 

 

 

bskyvision의 추천글 ☞

[IQA] 이미지품질평가 분야의 셀럽, BRISQUE  

유유상종의 진리를 이용한 분류 모델, kNN(k-Nearest Neighbor)