threshold는 문턱값, 임계값, 역치 등으로 번역하곤 하는데, 보통 어떤 반응을 일으키기 위해 요구되는 최소한의 자극의 세기를 의미한다. 쉽게 말해 자극의 세기가 threshold 값을 넘으면 반응을 일으키고, threshold 값을 넘지 못하면 반응이 일어나지 않는다.
subthreshold는 반응을 일으키기에는 불충분한 자극의 세기를 의미한다. sub-는 "~보다 적은"이란 뜻을 갖고 있다.
near-threshold는 threshold와 비슷하거나 살짝 더 커서 반응을 일으킬 수 있는 자극의 세기를 의미한다.
suprathreshold는 반응을 일으키기에 충분히 큰 자극의 세기를 의미한다. supra-는 "~위의"란 뜻을 지닌다.
초해상화(super-resolution, SR)란 이미지를 업스케일링(upscaling)하는 기술을 의미한다. 업스케일은 이미지의 해상도(resolution)를 증가시키는 것을 의미한다. 해상도는 이미지를 표현하는데 있어 몇 개의 픽셀을 사용했는지를 나타내는 말이다. 1인치당 픽셀(pixel per inch, ppi) 갯수로 해상도의 크기를 표현하곤 한다. 당연히 1인치당 많은 픽셀이 빼곡하게 들어서 있다면 고해상도의 영상이다.
우리는 당연히 고해상도의 이미지를 원한다. 훨씬 더 선명하고 실제에 가깝기 때문이다. 그러나 고해상도의 사진이나 동영상은 그만큼 많은 용량을 차지한다. 따라서 전송하는데 시간이 많이 걸린다. 인터넷 비디오 스트리밍으로 동영상을 시청한다면 고해상도의 영상은 버퍼링을 유발할 수 밖에 없다. 그래서 대개는 저해상도의 영상을 송출한다. 해상도는 조금 포기하더라도, 속도는 얻겠다는 심산이다.
만약 전달받은 저해상도의 영상을 사용자측에서 빠르게 고해상도의 영상으로 복구시켜줄 수 있다면 속도와 해상도 모두 얻을 수 있을 것이다. 여기에 사용될 수 있는 기술이 바로 초해상화다. 쉬운 말로 저해상도 이미지를 고해상도의 이미지로 변환해주는 기술이다.
논문들을 찾아본 결과 초해상화 연구분야는 간단한 보간법(interpolation)에서 시작해서, 머신러닝 기술을 활용하다가, 현재는 딥러닝에 의존하는 형태로 발전해왔다.
좀 더 세부적으로 들어가서, 단 한 장의 저해상도 이미지만을 이용해서 그 이미지의 고해상도 버전을 만들어내는 것이라면, 그 기술은 SISR(single image super-resolution)이라고 불린다.
슈퍼픽셀간의 유사도를 비교하는 2D FR IQA 알고리즘을 제안하는 논문이다. 이미지 패치와 달리 슈퍼픽셀은 유사한 시각 특성을 공유하는 이미지 픽셀들의 모음이다. 그러므로 지각적으로 더 의미가 있다.
슈퍼픽셀 밝기 유사도, 슈퍼픽셀 색상 유사도, 픽셀 그레디언트 유사도를 구한 것을 종합해서 이미지의 품질을 평가한다. 그 중에서 슈퍼픽셀 밝기 유사도는 다음과 같이 구한다.
픽셀 그레디언트 유사도는 다음과 같이 구한다.
이 세가지 유사도를 구할 때 regional gradient consistency(RGC)가 더 정확하게 조정하는데 도움을 준다. 구체적으로 말해서 T1과 T2를 세팅하는데 공헌한다. RGC는 원본 이미지와 왜곡 이미지의 슈퍼픽셀의 그레디언트가 얼마나 큰 상관성을 갖고 있는지를 나타낸다. 물리적으로 말하면 큰 RGC는 두 슈퍼픽셀이 유사한 구조를 갖는다는 것을 의미한다.
sign(x)는 x가 양수면 1, 음수면 -1을 반환하는 함수다. 따라서 IDG는 -1이상 1이하의 값을 갖게 된다. IDG가 1에 가까우면, 그레디언트가 왜곡을 통해 대체적으로 증가했다는 것이다. 반면 -1에 가까우면 그레디언트가 왜곡을 통해 대체적으로 감소했다는 것이다.
psgn(x)은 x가 0이상이면 1을 반환하고, 그렇지 않으면 0을 반환하는 함수다. 따라서 u0의 경우 RGC가 tau0이상이면 1을 반환하고, 아니면 0을 반납한다. u1의 경우 IDG가 tau1이상이면 1을 반환하고, 아니면 0을 반납한다. u2의 경우 IDG가 -tau1 이하면 1을 반환하고, 아니면 0을 반납한다. 저자들은 tau0과 tau1을 경험적으로 0.6으로 세팅했다.
u0=1은 물리적으로 원본 이미지와 왜곡 이미지의 슈퍼픽셀의 그레디언트의 상관성이 꽤 높다는 것이다. u1=1은 왜곡 이미지 슈퍼픽셀의 그레디언트가 원본 이미지 슈퍼픽셀의 그레디언트보다 전반적으로 크다는 것이다. u2=1은 원본이미지 슈퍼픽셀의 그레디언트가 왜곡이미지 슈퍼픽셀의 그레디언트보다 전반적으로 크다는 것이다.
따라서 IF_A = u0u1 = 1은 이미지가 향상된 경우를 의미한다(내 생각엔 콘트라스트가 좋아진 것을 의미하는 듯). (그리고 IF_B = u0u2 = 1은 이미지의 콘트라스트가 나빠진 것을 의미하는 것 같다.)
저자들은 경험적으로 C1=600, C2=210으로 설정했다. 또한 lambda1 = 40000, lambda2 = 950으로 설정했다. 따라서 IF_A가 1인 경우에는 첫번째항과 두번째항이 작동하고, IF_B가 1인 경우에는 첫번째항과 세번째항이 작동한다. 둘다 1이 아닌 경우에는 첫번째항만 작동한다.
결과적으로 A 타입 또는 B 타입의 슈퍼픽셀이면 왜곡으로 인한 열화를 과대평가하지 않도록 T1과 T2가 커진다.
최종 유사도 맵은 다음과 같은 공식으로 산출한다.
저자들은 alpha = 0.05, beta = 0.35로 설정했다. 슈퍼픽셀 색상 유사도의 영향이 전체 유사도에 많이 미치지 않도록 설정했다. 왜냐하면 색상보다는 밝기의 유사도가 더 중요하기 때문이다.
픽셀 단위 품질 점수를 최종 점수로 합산할 때 원본 이미지와 왜곡 이미지의 슈퍼픽셀의 텍스쳐 복잡도(TC, texture complexity) 차이가 가중함수를 만드는데 활용된다.
TC는 다음과 같은 과정으로 구한다. CI(contrast intensity)는 슈퍼픽셀의 표준편차로 구하고, ST(structureness)는 픽셀 세기들의 첨도로 구한다.
코드 구현 및 분석
RGC 맵에서는 원본 슈퍼픽셀과 왜곡 슈퍼픽셀의 구조가 유사할수록 어둡게 표현되어 있다.
하얀 부분은 A타입 또는 B타입의 슈퍼픽셀들이다.
TC 맵들은 텍스쳐 복잡도를 슈퍼픽셀 단위로 꽤 잘 나타내고 있는 것으로 보인다.
종합유사맵을 확인해봤을 때 저자들은 픽셀 그레디언트 유사맵이 가장 큰 비중을 차지하게 파라미터를 설정한 것 같다.
우리가 natural scene을 볼 때 한 눈에 얻는 정보는 무엇인가? 그리고 보는 시간이 길어짐에 따라 얻는 정보는 어떻게 변하는가? (여기서 natural scene은 자연경관으로 해석하는 것보다 우리가 눈으로 보는 장면으로 해석하는 것이 좋다.)
22명의 피실험자들에게 90장의 natural scene 이미지(46장의 야외사진, 44장의 실내사진)를 27, 40, 53, 67, 80, 107 또는 500ms 동안 보여준다. 그러고난후 무엇을 봤는지 자세하게 묘사하라고 한다. 예를 들어, 다음과 같이 작성을 요구한다. "도시 장면. 오른쪽에 큰 빌딩을 봤고, 가게를 지나가는 사람들을 봤다. 또한 나무들도 있었다. 대부분의 나무들은 왼쪽에 있었다."
출처: 해당논문
이렇게 묘사한 것들을 또다른 5명의 피실험자에게 6개의 카테고리로 분류하도록 했다. 실내, 야외, 생물, 무생물, 모양 및 감각 관련, 이벤트 관련. 그리고 그 6개의 카테고리 내에는 각각 하위 카테고리들이 있다. 계속해서 분류해간다.
출처: 해당논문
저자들은 실험을 통해, 다음과 같은 현상을 관찰했다.
사람들은 아주 짧은 시간 동안 natural scene을 보더라도 많은 object-level 정보와 scene-level 정보를 인지할 수 있다는 것을 밝혔다.그리고 잠깐 이미지를 볼때는 실내 이미지보다 야외 이미지를 더 잘 인식한다고 보고했다. 또한 sensory-level 및 feature-level 정보 인지(nonsemantic-level 정보)가 semantic-level 정보 인지보다 선행한다는 것을 밝혔다.
공학 관련 논문을 peer review하는 중에 뜬금없이 경제용어가 너무 많이 등장해서 당황스럽다. 나는 경제를 알지 못하는 사람, 경알못이다. 그러나 제대로 심사하기 위해서 어쩔 수 없이 경제 용어들을 조금 살펴보고 있다.
이런 상황 가운데 "한계효용체감의 법칙(the law of diminishing marginal utility)"에 대해 정리하려고 한다.
우선 경제학에서 중요한 단어인 효용(utility)은 무슨 뜻일까? 효용은 어떤 재화나 서비스를 이용할 때 얻을 수 있는 주관적인 만족도를 의미한다.
그러면 한계효용(marginal utility)은 무엇일까? 한계효용은 동일한 재화나 서비스를 "하나 더 이용할 때" 느끼는 추가적인 만족도(효용)를 의미한다.
한계효용체감의 법칙(고센의 제1법칙이라고도 불림)은 어떤 재화나 서비스의 소비량이 증가함에 따라 한계효용은 감소한다. 여기서 체감은 우리가 통상적으로 아는 "느낌"과 관련된 뜻의 단어가 아니라 단계별로 점차 줄어듬(diminishing)을 의미하는 단어다.
명확한 이해를 위해 예를 들어 보자. A라는 사람은 명품시계를 좋아한다. 그래서 하나하나 수집해간다. 처음 명품시계를 샀을 때 느끼는 만족도는 100이었다. "야! 대박이다. 짱 멋있네!" 그 다음 명품시계를 샀을 때 느끼는 만족도는 50으로 줄었다. "오, 꽤 괜찮은데?" 또 다시 명품시계를 샀을 때 느끼는 만족도는 30으로 줄었다. "멋지네." 또 돈을 모아 명품시계를 샀을 때 느끼는 만족도는 20으로 줄었다. "시계 하나 더 생겼네" 이처럼 A는 계속해서 수집하다보니 언젠가 새로운 명품시계를 샀는데 거의 감흥이 없었다. "시계네." 이것이 바로 한계효용체감의 법칙이다. 이것을 그래프로 나타내면 아래와 같을 것이다.
소비량이 늘어감에 따라 총 만족도가 계속 증가하는 것이 아니라 늘어나다가 일정한 수준에 수렴하게 된다. 한계효용이 점차 줄어들었기 때문이다. 다른 말로 새로운 소비로 인한 추가적인 만족도가 점차 감소했기 때문이다.
따라서 어떤 동일한 물건을 많이 가질 수록, 또는 어떤 서비스를 많이 받을수록 무조건 만족도가 높아지는 것이 아니다. 우리 삶에서 매일 경험하는 바다. 처음 경험했을 때, 처음 소비했을 때가 가장 좋지, 몇번 지나면 식상해진다. 무조건 많이 한다고, 무조건 많다고 행복한게 아니라는 것이다. 이것이 바로 한계효용체감의 법칙이다. 이름이 어려워서 그렇지 사실 굉장히 쉬운 개념이다.
