[신호와소음] 베이즈 정리를 삶에 적용하기

책 제목: 신호와 소음
저자: 네이트 실버

 2-3년 전 쯤 멘토로 생각하는 분이 꼭 읽어보라며 추천해줬던 책이 있었다. 네이트 실버의 '신호와 소음' 이다. 그 분은 이 책을 읽고나서 절대 주식은 다시 하지 말아야지라고 생각했다고 했다. 아마 그 분의 경우 2008년을 실제로 겪었기 때문에 책보다는 경험적 판단이 먼저 일어나 그렇게 말한 것일 수도 있겠다는 생각을 했다. 결과적으로 나도 이 책을 읽고나서 확률적으로 보았을 때 평범한 개인이 주식 시장에서 이득을 얻을 확률은 그리 높지 않음을 이해할 수 있게 되었다. 이 책은 주식을 하지 말라고 말하는 책은 아니다. 저자가 이 책을 통틀어 말하고 싶은 바는 '세계를 둘러싼 불확실성과 위험을 구분하고, 베이즈 정리를 도구로 사용해 비교 우위를 가질 수 있는 분야에서 이득을 취하라' 이다.

 저자는 불확실성과 위험을 구분해야한다고 말하며, 2008년의 금융위기를 예로 든다. 금융위기는 예측의 처참한 실패였고, 예측하지 못했다는 것은 거짓말이라고 말하며 금융 위기에 동반한 예측 실패로는 네가지를 꼽는다. 첫째, 주택 거품이 일어나더라도 별 문제가 되지 않으리라고 결론을 내린 실수, 둘째, 리먼브라더스 같은 은행과 신용평가사들이 MBS가 얼마나 위험한지 제대로 이해하지 못한 실수, 셋째, 주택 위기가 글로벌 금융 위기를 촉발할 수 있다는데 대한 인식 부족과, 마지막으로 금융위기의 즉각적 후폭풍 속에서 금융위기가 초래할 여러 경제 문제의 범위를 예측하지 못한 실수다. 미국 정부는 리만브라더스를 구제하지 않았고, 기업들은 그에 대한 파장으로 돈을 빌리거나 빌려주지 않았다. 이후에 경제 위기에 대한 평가도 안일하여 예측한 것보다 상황이 더 심각하였다. 이에 저자는 불확실성과 위험을 구분해야 한다고 말한다. 위험은 확률로써 정확한 측정이 가능한 것이고 불확실성은 측정하기 어려운 위험을 말한다. 다시 말해 불확실성은 '모름' 혹은 '일어나지 않았던 일'이라 예측하기 어려움을 표현하는 말이다. 금융 위기의 모든 과정 중에서는 예외적 사건들이 존재해 예측하기 어려워졌고, 정확하지 않은 정밀한 예측이 정확한 예측인 것으로 받아들여져 정확한 시기에 정확한 정책을 내놓지 못해 금융위기가 더 심각할 수 밖에 없었다고 말한다.

 불확실성이 가득할 때에도 예측은 필요하다. 더 나은 행동을 불러일으켜야 하기 때문이다. 이럴 때 쓸 수 있는 방법 중 하나는 '외삽 extrapolation'이 있다. 외삽이란, 가장 비슷한 실험으로부터 얻은 데이터들을 이용하여 아직 경험해보지 않은 것을 예측해보는 기법이다. 저자는 그 예로 전염병을 들고 있다. 질병의 확산을 예측하는데 가장 유용한 수치인 '기본 감영 재생산 수 basic reproduction number (R0)'라는 값이 있는데, 믿을만한 R0값은 그 전염병이 한차례 어떤 지역을 휩쓸고 지나간 뒤에, 또 통계자료를 정밀하게 분석할 수 있는 시간이 흐른 뒤에 얻을 수 있다. 치사율도 마찬가지인데, 이런 특성 때문에 새로운 전염병이 유행할 때 이 병의 확산세를 예측하기 위해 의학자들이 적은 양의 초기 자료를 참고하여 외삽 추정을 해야한다. 하지만 어렵게 예측을 한다 하더라도, 예측이 긍정적 피드백, 혹은 부정적 피드백을 발생시켜 예측 결과에 영향을 미쳐 예측의 정확도가 떨어지게 되기도 한다. 그렇기 때문에 저자는 예측은 '목적이 아니라 수단'으로 동작해야 한다며, 예측은 모든 과학에서 가설 검증에 매우 핵심적인 역할을 한다고 말한다. 통계 모델은 우주의 복잡성을 이해하는데 도움이 되는 도구일 뿐, 우주를 대체할 수 있는 것은 아니라는 것이다. 그에 관해 오조노프의 말도 인용한다. 
"우리가 하는 모든 예측은  빗나갈 수 밖에 없다는 사실을 명심해야 한다. 그러기에 얼마나 빗나갔는지 그리고 빗나갔을 때는 어떻게 해야하는지 이해하고, 또 빗나갔을 때 발생하는 비용을 최소화하는 것이 예측과 관련해서 우리가 해야하는 일이다"

 예측을 돕는 도구인 베이즈 정리는 어떻게 사용할까? 베이즈 정리는 두  확률 변수의 사전 확률과 사후 확률 사이의 관계를 나타내는 정리다. 베이즈 정리를 이용해서 사전확률로부터 사후확률을 구할 수 있다. 불확실성 하에서 의사결정 문제를 수학적으로 다룰 때 중요하게 이용된다. 특히, 정보와 같이 눈에 보이지 않는 무형자산이 지닌 가치를 계산할 때 유용하게 사용된다. 전통적 확률이 연역적 추론에 기반을 두고 있다면, 베이즈 정리는 귀납적, 경험적인 추론을 사용한다. 계산하는 법은 간단한 도표로 대체한다.
- 수수께끼의 속옷이 발견되었을 때 남편이 바람을 피고 있을 가능성 계산하기

- 연속적으로 두 번째 비행기가 건물과 충돌했을 때 테러 공격일 가능성 계산하기

 우리는 베이즈 정리를 이용해 불확실성에 대비할 도구를 가졌지만, 이를 이용해 이기는 싸움을 해야한다. 그에 관해 저자는 포커를 예로 설명하고 있다. 최고 수준의 포커 선수가 내리는 판단의 80퍼센트에 근접하려면 우리가 들여야하는 노력은 어느 정도일까? 정확성과 노력을 축으로 하는 파레토 법칙 또는 '80-20' 법칙 (혹은 학습곡선)을 포커에 적용하면 20퍼센트 정도의 시간과 노력, 경험만 들이면 된다고 말한다. 최초의 20퍼센트는 올바른 자료, 올바른 기술, 올바른 동기만으로 확보할 수 있기 때문에 그것에 대한 정확하고 객관적인 진리에 관한 정보가 필요하다. 쉽지 않은 일이며 많은 사람들이 실패하지만 어려운 일도 아니라고 강조한다. 그렇게 하면 세계 최고 전문가가 하는 것의 80퍼센트 수준의 예측을 할 수 있다. 그런데 중요한 것은 우리가 한 예측이 절대적이 아니라 상대적으로 (즉 상대 선수가 한 예측에 비해) 얼마나 훌륭한가 하는 점이다. 경쟁 개념이 작동한다는 말이다. 주식시장에서 돈을 따려면 '아이비리그 출신의 MBA 소지자로 연봉을 수백만 달러 받으며 최첨단 컴퓨터 시스템을 능숙하게 이용하는 사람들로 구성된, 예측 능력이 탁월한 투자 팀의 도움'이 필요하다. 경쟁이 치열한 분야에는 경쟁을 통해 이른바 '수위 water level'라는 게 다른 분야에 비해 높게 형성되어 있고, 수면 위로 드러나는 아주 작은 경쟁 우위가 가능해지려면 그 아래로 엄청나게 많은 노력이 뒷받침되어야 한다는 말이다. 대장 물고기 노릇을 할 수 있는 작은 연못을 발견해야한다는 것이다.

 아마도 저자는 포커, 야구, 대통령 예측 등 여러 분야에서 괄목할만한 성과를 냈지만 동일한 방법으로 접근했을 때 주식 시장을 예측해서 어떤 경쟁에서 이겨 돈 벌기에는 실패했던 것 같다. 혹은 주식을 해보려고 정말 많은 자료를 살펴보았지만 주식 시장은 개인이 이기기 어렵다는 예측을 본인의 도구를 이용해 알아내어 글로 풀어낸 것일 수도 있겠다. 그 분야가 어디든, 예측을 하는 것은 예측을 아예 해보지 않는 것 보다 나은 행동을 불러온다. 예측은 더 나은 결정을 내리는 데 중요한 역할을 하기 때문이다. 저자는 '소음에서 신호를 분리하려면 과학적 지식과 자기 인식을 동시에 갖추어야 한다. 우리가 예측할 수 없는 것에 대한 겸손함과 예측할 수  있는 것을 예측할 수 있는 용기, 그리고 이 둘 사이의 차이를 아는 지혜가 필요하다.' 며 글을 마친다. 저자는 세상을 확률로 받아들이라는 과제를 주었다. 베이즈 이론은 학부 과정에서 배웠고 배울 때도 신기했고, 그 이론을 기반으로 간단한 스팸 필터도 만들어 봤었지만 이렇게 삶에 적용할 수 있는 거라고 생각해보지는 못했던 것 같다. 그리고 방법적으로도 막연했다. 베이즈 이론을 사용할 때에는 유의해야할 점이 있는데 각 요인들이 서로 독립적인 변수인가를 따져봐야한다는 것이다. 세상은 복잡해서 아마 완전 독립이라는 변수는 거의 존재하기 어려울 수 있지만 연습 문제를 풀고 삶에 적용해보면서, 실제 나에게 도움이 되는 도구로 자리잡을 수 있도록 해야겠다. 아마 가장 먼저 해야할 행동은 '어떤 연못에서 이겨야 할 지 고르기' 이겠지만, 베이즈를 삶에 적용하는 방법을 안 것으로도 충분히 도움이 되는 책이었던 것 같다. 언젠가 베이즈 정리를 이용한 예측 실전!에 관한 글을 도전해 봐야겠다.

+ 저자가 몇 가지 통계적 자료를 차트 분석한 예제들이 있어 구할 수 있는 자료로 동일하게 그려보려고 했는데 그것 조차 쉽지 않았다. 베이즈 이론 외에 중간 중간 나오는 자료들도 유심히 보고 따라해 만들어두면, 분석과 예측에 좋은 도구들이 될 것 같다.
+ 그렇다고 누군가가 나에게 주식을 안할거냐- 묻는다면 할 거다. 하지만 단일 종목보다는 인덱스의 비중이 확실히 클 것이다.