<신호와 소음>, 수많은 정보 중에 신호와 소음을 분간할 수 있는가

아래 글은 2017년 어느날 <신호와 소음>에 대해 쓴 독후감입니다.

 

-----

2017년 9월 17일은 인류가 존재한 이래로 가장 정보량이 많은 시대이다. 지금 이 순간에도 수많은 정보가 생성되고 있다. 내가 지금 이렇게 서평을 쓰는 것도 하나의 정보가 된다. 요즘 지겹도록 듣는 '빅 데이터'의 시대다. 하지만 모든 정보가 유익한 것은 아니다. 정보량이 급증함에 따라 불필요한 정보 또는 부정확한 정보도 급증했다. 우리는 정보의 홍수 속에서 유용한 신호(signal)와 무익한 소음(noise)을 잘 분별해내야 한다. 신호를 진리로, 소음은 비진리로 바꿔 말할 수도 있다. 

각 분야의 전문가들은 축적된 데이터들을 이용해서 아직 일어나지 않은 미래를 예측하는데 사용하고 있다. 기상학자들은 기상에 관한 과거의 자료들과 과학 이론들을 이용해서 다음주의 날씨를 예측한다. 야구 스카우터들은 과거 선수들의 이력을 바탕으로 비슷한 특성을 가진 신인 선수의 성공 가능성을 예측한다. 또 주식전문가는 주가가 어떻게 변동될지 예측한 정보를 고객들에게 제공한다. 

그런데 기대보다 예측의 정확도가 높지 않다. 대부분 사안들의 불확실성과 복잡성 때문이지만, 우리의 편견과 상상력의 부족도 한몫한다. 지진이 언제 어디서 발생할지에 대해서, 허리케인이 어떤 강도로 어느 지역을 지나갈지에 대해서, 어떤 주가가 오르고 내릴지에 대해서, 또한 언제 어디서 어떤 테러가 발생할지에 대해서 정확하게 예측한다는 것은 사실상 불가능한 것이다. 그렇다고 이러한 사건들이 발생하기 전에 아무런 신호도 없는 것은 아니다(비록 수많은 소음들과 섞여 있긴 하지만). 문제는 우리가 가진 편견으로 인해 신호를, 진리를 포착하지 못하는 것이다. 

저자는 두 유형의 사람에 대해 말한다. 하나는 고슴도치형, 다른 하나는 여우형이다. 고슴도치는 하나의 원리에 꽃혀서 다른 것은 보지 않고 고집스럽게 외길을 파는 유형이다. 자신이 틀릴 수 있다는 생각을 별로 하지 않기 때문에 자신만만하게 생각한다. 대범한 발언으로 대중의 인기를 얻곤 한다. 반면 여우는 여러 개의 접근법을 추구하며 조심스럽게 생각한다. 자기가 하는 예측의 정확성을 확률적으로 표현하며 언제나 새로운 신호에 따라 자신의 생각을 교정해나갈 열린 마음을 갖고 있다. 즉 베이지안적인(Bayesian) 사람이다. 경험과 이론을 바탕으로 사전 확률(prior probability)을 설정하고, 그것을 기준으로 사후 확률(posterior probability)을 예측한다. 사전 확률은 어떤 사건이 발생하기 전에 어떤 가설이 발생할 확률이고, 사후 확률은 그 사건이 발생한 후에 그 가설이 일어날 확률을 의미한다. 새로운 정보에 따라 사전 확률을 계속해서 수정해 감을 통해 이처럼 사후 확률을 더 정확하게 예측해가는 것이 바로 베이지안적 사고이다. 

어떤 유형의 사람이 더 미래에 대해 예측을 잘할까? 당연히 여우형이다. 고슴도치형은 자신이 틀릴 수 있다는 생각을 거의 하지 않기 때문에 예측 결과가 좋지 않게 나와도 고집스럽게 자신의 방법을 고수한다. 그러나 여우는 끊임없이 정보를 수집하며 예측 모델을 개선해간다. 그렇다고 무작정 새로운 정보를 받아들이는 것은 아니다. 충분하고도 신중한 검증 과정을 거친다. 결과적으로 비교적 좋은 예측 정확도를 산출해낸다. 

우리는 편견으로 인해 진리를 받아들이지 못하는 경우가 많다. 다수가 동의한다고 해서 꼭 진리인 것도 아니다. 열린 마음으로 세상을 바라보면 그동안 보지 못했던 신호들을 발견할 수 있다. 나는 지금 3D 이미지 품질 예측, 3D 이미지 시각적 편안도 예측 등을 연구하고 있는데 편견과 상상력의 부족으로 인해 보지 못하고 있는 신호는 없을까?