Super Crunchers: Why Thinking-by-Numbers Is the New Way to Be Smart

슈퍼크런처 - 8점
이언 에어즈 지음, 안진환 옮김/북하우스

                           Daum 책 상세보기>

영화를 보고나서, o.park님의 집에서 인터넷 서핑을 하는 중이었다.
온라인 서점에서 읽을 만한 책들을 찾아보고 있었는데, o.park님이 내가 관심 있을 것 같다면서 이 책을 추천해 주셨다. 장바구니에서 <넛지(nudge)>대신에 이 책을 담았다. 역시 재미있는 내용이었고, 단숨에 읽을 수 있는 책이었다.

이 책을 통해서, Number Cruncher 단어를 알게 되었는데, 수치 데이터 분석가를 칭하는 말이라 한다. Super Cruncher 는 새로운 부류의 넘버크런처라고 소개되고 있으며, 주로 data mining과 같은 대규모의 데이터들을 분석한다는 의미로 저자가 만들어낸 단어인 것 같다.

이 책은 Data 기반의 의사결정이 유용함을 이야기한다. 저자는 이 책의 제목을 원래 <직관의 종말>로 지었다고 한다. 이 제목이 책의 전체적인 내용을 잘 요약해 주는 듯 하다. 다양한 사례를 바탕으로, 의사결정과정에서 소위 전문가들의 직관에 기반한 예측보다 더 유용하다고 주장한다. 저자는 몇 장에 걸쳐서 현재 전문가들이 직관으로 판단하는 것들보다 슈퍼크런칭을 활용한 의사결정이 더 경제적이고 예측력이 높다고 말하고 있다.

물론, 데이터 분석이 잘못된 경우도 짚고 넘어가기도 한다. 또한, 슈퍼크런칭은 직관을 대체하는 것이 아니라 상호 보완하는 것이며, 전문가의 직관과 슈퍼크런칭 두 가지가 모두 필요할 것이라 이야기한다. 그런데 의사결정과정에서 대체와 보완이 이루어지는 부분에 논쟁이 있을 법하다. 저자는 의사결정과정에서 슈퍼크런칭이 직관을 대체하고 있으며, 대체하게 될 것이라고 말한다. 올바른 슈퍼크런칭을 하기 위한 가설단계, 그리고 결과를 검증, 해석하고 활용하는 과정에서만큼은 직관이 필요하다는 것을 인정하며, 전문가의 역할이 변화해야 한다고 주장한다.

저자가 슈퍼크런칭의 효과가 괜찮다는 것을 이야기하지만, 효율성을 이야기하는 측면도 있다. 비슷하거나 더 적은 비용을 들여도 전문가들의 판단만큼은 가능하거나 때로는 더 나은 판단이 가능하다는 이야기인 것 같다. 하지만, 현재 우리가 전문가라고 부르는 사람들 또는 그들이 내리는 판단에 대한 검증하고 피드백을 주는 시스템 자체가 문제는 아닐까라는 의문이 든다. 전문가들이 지식을 독점하고 울타리를 쳐 놓고 있기 때문에 나타나는 문제일 수도 있다는 생각을 해 본다. 이것을 고려하지 않고서, 슈퍼크런칭이 전문가들의 판단과 동등하거나 앞선다고 말하기는 힘들 것 같다.

그리고, 이 책에서 이야기하는 것과 같이, 전문가 혹은 인간의 역할이 컴퓨터에게 지식을 먹이는 것으로 끝나는 것일까? 과연 노동의 종말에서 직관의 종말까지 이어지는 것일까? 오히려, 전문가가 올바른 판단을 할 수 있도록, 슈퍼크런칭이 전문가들에게 의사결정지원시스템(Decision Support System)으로서의 역할을 다 하면 되지 않을가? 그리고, 앞서 말한 바와 같이 전문가들과 그들이 내린 판단들을 종합하고 검증할 수 있는 체계도 필요할 것 같다. 

이 책을 보면서, 전문가나 직관에 대해 이런 생각을 해 보았다. 직관이란 일종의 데이터 분석의 산물이 아닐까? 컴퓨터로는 가능하지 않은 처리까지도 가능한 부분이 아닐까? 인간의 두뇌는 경험이나 관찰을 통해, 무의식적으로 또는 의식적으로 데이터 분석을 하고 있으며, 거기에서 발생하는 패턴에 관한 지식들이 직관으로 나타나는 것이 아닐까? 경험했던 데이터와 동일한 분야에 적용할 수도 있고, 전혀 다른 분야에 적용할 수도 있다. - 이것은 경험론에 가까운 생각인 듯 하다. 물론, 직관에 대해서는 반대의 해석도 가능하다. - 이전에 <생각의 탄생>을 읽으면서도 비슷한 생각을 했다. 사람은 누구나 비슷한 사고방식의 메커니즘을 가지고 있는데, 우리가 천재라고 부르는 이들은 이러한 사고를 더 잘하는 것은 아닐까? 그런데, 이 메커니즘에는 인간 고유의 심리적 요인들이 개입되면서 편중됨이 생기고, 심리적 요인들이나 직관들은 슈퍼크런칭 분석이나 해석에도 개입될 것 같다.

이것은 좀 다른 이야기일 수도 있으나, 의사결정, 민주주의, 데이터에 관한 생각을 덧붙인다.
사람의 직관에는 편향이 들어가기 마련이긴 하다. 예전에는 막연히 역사를 객관적으로 서술하는 것이 좋다라고 생각에서부터 시작하여, 올바른 의사결정을 위해서는 의사결정하는 사람이 객관적이어야 할 것이라고 생각했다. 그런데, 과연 사람으로서 얼마나 객관적일 수 있을까라는 의문이 들었다. 개인의 주관을 배제한다는 것이 참 어렵고도 어려운 일이라 생각하기 때문이다.
그러다가 어는 순간부터는 한 사람 한 사람이 모두 객관적이 될 필요가 없다는 결론에 도달했다. 사람은 누구나 자신의 가치관을 가지고 의사결정을 할 수 있다. 개인은 뚜렷한 자기 생각을 가질 필요가 있다. 다만, 다양성을 인정하는 것이다. 개인이 각자 다른 주관을 가지고 주장할 수 있도록 말이다. 그럼, 모자이크를 멀리서 보면 한 가지 색처럼 보이듯이, 이들이 모이면 어떤 합의점이 보이지 않을까? 주관적인 개인들이 모여서 의사결정을 하면 좀 더 객관적이고 올바른 의사결정을 할 수 있지 않을까? 이 과정에서 토론이나 데이터 기반의 의사결정방법도 올바른 의사결정 과정에서 좋은 도구로 사용될 수 있을 것이다. 여기에서 반드시 필요한 것은 서로 공감하는 '의사결정 Rule'과 '오픈 마인드'인 것 같다. - 아무래도 다른 책에서 알게 된 '사회정의'와 '똘레랑스' 개념에서 영향을 받은 것 같다. 두 가지로 생각을 정리하고 보니, 비슷한 점이 보인다.


아래 두 가지는 저자가 슈퍼크런칭의 이해를 돕기 위해서 가르쳐 준 내용을 메모했다.

1. 슈퍼크런칭을 유용하게 만드는 2가지 방법론
1) 회귀분석
2) 무작위 추출법
: 이 책에 나오는 분석은 주로 회귀분석과 무작위 추출법을 기반으로 한다고 한다. 회귀분석 대신에 Neural Network를 사용하기도 한다는데, 거의 회귀분석을 이야기한다. 실험계획을 통해서 변수를 제어하고 데이터를 수집하는 것보다는, 주로 대규모의 데이터를 무작위 추출하여 사후 회귀분석을 실시한다. 현실에서는 회귀분석이나 t-test처럼 간단한 분석방법을 가장 많이 사용한다고 강의시간에 들은 기억이 난다.

2. 직관과 숫자 사이를 오고 갈수 있는 데에 유용한 도구 2가지
1) 2SD 법칙
: 예전에 들었던바로는 two-sigma 법칙으로도 불리는 것 같다. σ (sigma) = standard deviation 이니........
  무작위와 분산도를 통해서, 표준편차와 신뢰도, 유의확률의 관계를 이해하는데 도움이 된다고 한다.
2) 베이즈의 정리
: 학습의 과학. 새로운 정보가 들어올 때, 예측과 직관을 수정해 나간다.


* 슈퍼크런칭 성장 계기
슈퍼크런칭이 성장하게 된 발판은 무엇이었을까? 저자는 슈퍼크런칭의 성장 배경으로 아래와 같이 3가지 후보를 제시하고, 그 중에서 저장장치의 가격 하락을 꼽는다. 그러나 이 부분을 이유라고 보기에는 어려운 듯 하다. 그보다는 3가지 모두 슈퍼크런칭의 활용에는 반드시 필요한 배경이 있는데, 다만 스토리지 부분이 가장 마지막에 성공했기에 그렇게 보이는 것이 아닐까 싶다.
1) CPU 처리능력 증가
2) Network 통신대역폭 증가
3) 비용 대비 저장용량 증가

* BI 서비스 및 기업
이전에 포스팅했던 글(http://node.tistory.com/52)에서도 언급했고,
<Big Switch>의 리뷰 (http://node.tistory.com/55)에서도 생각했던 부분이 있다.
바로, 통계분석이나 BI (Business Intelligence)의 유틸리티 서비스가 가능할 것인가이다.
그리고, 그 만큼의 가치가 충분할 지도 궁금했다.

이 책의 부록에 따르면, 주요 BI 기업들의 M&A 일지가 나온다.
2007년 04월. Oracle : Hyperion Solutions Corp. 인수. 33억 달러
          10월. SAP : Business Object 인수. 48억 달러 68억 달러 (= 48억 유로)
          11월. IBM : Cognos 인수. 49억 달러

저자는 SAS 인수 가능성을 이야기하며, 인수자로 Terra Data 를 예상한다.
나도 왠지 SAS가 다른 기업에 인수되지 않을까 생각했었는데… SAS기업문화를 보면 그렇지 않은 것 같기도 하고…

* URL 메모
farecast.com
www.teradata.com

* 덧붙임 01)
2009년 08월. IBM : SPSS 인수. 12억 달러
  http://www.eikorea.com/news/articleView.html?idxno=1163

* 덧붙임 02)
2007년 10월. SAP : Business Object 인수. 48억 달러 68억 달러 (= 48억 유로)
  >> 책 내용에 틀린 것이 있다.
       번역상 오류인지 원문에도 그런지는 모르겠다. 48억 달러가 아니라, 48억 유로 (= 68억 달러)이다.
  >> 원문도 문제임. ...
       ... in October, SAP purchased Business Objects for $4.8 billion ...
       ==> $6.8 billion ...

+ Recent posts