최소식별차(just-noticeable-difference)와 영상압축
안녕하세요. 비스카이비전입니다.^^ 오늘은 최소식별차가 무엇인지, 그것이 영상압축에 왜 활용이 가능한지에 대해 이야기하도록 하겠습니다.
우리가 감지할 수 있는 최소한의 차이를 최소식별차(JND, just-noticeable-difference)라고 부릅니다. 예를 들어, 초록색이 있고 그것보다 조금 더 진한 초록색이 있습니다. 너무 차이가 없으면 우리는 같은 색으로 인지합니다. 그런데 어느 정도 차이가 생기면 우리는 차이가 있다고 느낍니다. 딱 바로 차이를 느끼는 그 순간의 차이를 바로 JND라고 합니다.
JND의 이해를 돕기 위해 다른 예를 하나 더 들어보겠습니다. 음식을 만들고 있습니다. 간이 맞지 않아서 소금을 더 넣었습니다. 그런데 차이가 느껴지지 않습니다. 그래서 소금을 좀 더 넣었습니다. 이제 차이가 느껴집니다. 짭짤함의 차이가 느껴지기 시작하는 그 순간의 차이가 바로 JND인 것입니다.
그러니까 우리의 오감은 꽤 민감하지만, 아주 작은 차이를 다 느낄 정도로 민감하진 않다는 뜻입니다. 자극의 세기가 어느 정도 차이가 생겨야 그 차이를 느낄 수 있습니다. 이럴 때 보면 마치 사람도 디지털 기계와 같이 이산적(discrete)으로 작동하는 시스템같습니다.
어떤 연구자들은 이러한 JND를 영상 압축(compression) 기술에 적용했습니다[1]. 영상 내 모든 픽셀의 JND가 동일하지는 않다는 점에 착안한 것입니다. 다른 말로, 영상 내에 각 부분의 JND가 모두 다르다는 것을 이용한 것입니다. 예를 들어, 하늘과 같은 비교적 평탄한 부분에서는 JND가 매우 작은 반면, 질감이 센 부분에서는 JND가 상대적으로 큽니다. 따라서 JND가 큰 부분의 정보는 손실시켜도 사람이 쉽게 인지하지 못합니다. 그러한 부분의 정보를 그렇지 않은 부분보다 좀 더 손실시킴으로써 용량을 줄이는 것이죠.
기존의 JPEG와 같은 손실압축방식은 영상 내 모든 부분을 동일하게 압축합니다. 따라서, 유독 하늘과 같은 평탄한 부분의 손실이 잘 느껴졌죠. 아래 사진은 JPEG 방식으로 심하게 손상된 사진입니다. 자유의 여신상 위에 존재하는 손실은 쉽게 인지되지 않지만, 하늘 부분의 손실은 쉽게 인지됨을 알 수 있습니다.
만약 JND를 고려해서 영상을 압축시킨다면, 하늘과 같이 평탄한 부분은 조금 덜 손상시키고, 자유의 여신상 부분과 같이 질감이 센 부분은 좀 더 손상시킬 수 있겠죠. 그러면 위 JPEG 압축의 경우보다는 사람들이 영상 품질에 대해 괜찮게 느낄 것입니다.
bskyvision.com에 방문해 주시고, 이 글을 끝까지 읽어주셔서 감사합니다. 항상 질문과 지적은 환영합니다.^^
<참고자료>
[1] Chen, Zhenzhong, and Christine Guillemot. "Perceptually-friendly H. 264/AVC video coding based on foveated just-noticeable-distortion model." IEEE Transactions on Circuits and Systems for Video Technology 20.6 (2010): 806-819.
[2] http://vision.eng.shizuoka.ac.jp/mod/page/view.php?id=23, CSIQ 데이터베이스