초해상화(Super-resolution)란? 저화질 영상을 고화질로 바꿔주는 기술

오늘의 주제는 이미지 초해상화(super-resolution)입니다. 초해상화란 저해상도 영상을 고해상도 영상으로 변환해주는 과제입니다. 영상의 해상도가 좋을수록 당연히 그 영상을 시청하는 사람들의 만족도도 높겠죠. 그렇기 때문에 초해상화는 컴퓨터비전 분야 중에서도 연구할 가치가 꽤 높은 분야입니다.  

 

 

우리는 당연히 고해상도의 이미지를 원합니다. 훨씬 더 선명하고 실제에 가깝기 때문입니다. 그러나 고해상도의 사진이나 동영상은 그만큼 많은 용량을 차지합니다. 따라서 전송하는데 시간이 많이 걸리죠. 인터넷 비디오 스트리밍으로 동영상을 시청한다면 고해상도의 영상은 버퍼링을 유발할 수 밖에 없습니다. 그래서 대개는 인터넷 사정에 맞춰 저해상도의 영상을 송출합니다. 해상도는 조금 포기하더라도, 속도는 얻겠다는 심산인 것이죠. 만약 전달받은 저해상도의 영상을 사용자측에서 빠르게 고해상도의 영상으로 복구시켜줄 수 있다면 속도와 해상도 모두 얻을 수 있을 것입니다. 여기에 사용될 수 있는 기술이 바로 초해상화입니다. 

 

논문들을 찾아본 결과 초해상화 연구분야는 Nearest Neighbor, Bilinear, Bicubic 등의 간단한 보간법(interpolation)에서 시작해서, 현재는 딥러닝 기술에 의존하는 형태로 발전해왔습니다.  

 

 

위 그림에서 보듯이 딥러닝 기반의 super-resolution 모델이 단순한 보간법보다는 훨씬 더 뚜렷한 고해상도의 이미지를 만들어냈음을 알 수 있습니다.  

 

좀 더 세부적으로 들어가서, 단 한 장의 저해상도 이미지만을 이용해서 그 이미지의 고해상도 버전을 만들어내는 것이라면, 그 기술은 SISR (single image super-resolution)이라고 불립니다. 반면, 여러 장의 이미지를 이용하는 과제는 MISR (multi image super-resolution)이라고 부릅니다. 

 

초해상화 기술이 우리 실생활에 사용된 예를 하나 소개시켜드리겠습니다. 드라마 <하얀거탑> 기억하시나요? 

 

 

2007년에 인기리에 방영되었던 하얀거탑은 원래 HD 화질로 방영되었습니다. 그런데 하얀거탑을 2018년에 다시 재방영하고자하니 화질이 너무 떨어졌습니다. 이미 UHD 영상을 보는 시대가 되었던 것이죠.

 

HD (1280 x 720) => UHD (3840 x 2160)

 

그래서 HD 영상을 UHD 영상으로 업그레이드시키기 위해서 초해상화기술을 사용했습니다. 결과는 성공적이었고, 많은 시청자들의 호응을 이끌어냈습니다.

 

이 글이 초해상화에 대해서 조금이나마 이해하시는데 도움이 되셨으면 좋겠습니다.^^  

 

 

<참고자료>

[1] http://www.aitimes.kr/news/articleView.html?idxno=12734, 인공지능신문, "심층 컨볼루션 신경망으로 저화질 비디오를 고화질 비디오로 시청한다"

[2] http://www.infognition.com/articles/what_is_super_resolution.html, infognition, "What is super-resolution?"

[3] https://terms.naver.com/entry.nhn?docId=1180286&cid=40942&categoryId=32828, 두산백과, "해상도"

[4] https://hoya012.github.io/blog/SIngle-Image-Super-Resolution-Overview/, hoya012's research blog, "Single Image Super Resolution using Deep Learning Overview"