More Damned Lies and Statistics

 

예전 조크 중에 기억나는 것 하나가 있다.

 

똑같은 운전자가, 똑같은 자동차로, 똑같은 길에서, 똑같은 속력으로 이동했는데 갑이라는 곳에서 을이라는 곳으로 갈 때는 한시간 반이나 걸렸는데, 올 때는 90분 밖에 걸리지 않았다. 왜 그럴까?

 

물론, 초등학교 저학년 이상의 학생들이라면 누구나 알 수 있는 이 문제. 하지만, 단순히 같은 숫자 (한시간 반=90분)를 "악용(!)"한 이 숫자 놀음이 실제 세상에서 많이 행해지고 있다.

 

같은 통계, 같은 수치를 입장차에 따라 달리 해석하기도 하고, 같은 대상을 상대로 데이터를 모을 때도 질문하는 방식이나 질문의 내용에 따라 아주 다른 결과를 갖는 경우가 많다. 예전 대선 후보들이 후보 단일화를 하면서 여론 조사를 할 때, 문구 하나 하나에 의견을 좁히지 못한 경우가 많은 점은 바로 그런 이유에서 일 것이다.

 

---

 

처음 이곳에서 공부를 시작할 때 들었던 과목에서 읽었던 책이 "Damned lie and Statistics"라는 책이었는데, 최근에 이 책의 다음 버전 책이 발간된 것은 모르고 있었다.

 

 

 

 

오리지널 버전의 책에서는 통계가 어떻게 왜곡되고, 잘못 이해되는지는 여러가지 사례를 통해서 자세히 설명했었는데, 이 다음 버전의 책인 "More Damned Lie and Statistics"라는 책도 그와 비슷한 내용으로 구성되어 있었다. 한 개인, 혹은 연구자가 갖고 있는 편견이나 이념, 사상, 견해 등에 따라 얼마나 많은 데이터들이 잘못 이해될 수 있는지 쉽게 설명된 책이다.

 

 

 

 

 

 

 

미국에서 1940대에 킨제이 보고서라는 것이 발간되어 엄청난 반향을 일으켰고, 킨제이 보고서는 우리나라에서도 많이 알려졌지만, 이 책 (오리지널 버전)에서는 그 연구결과에 대해서도 의심을 보내고 있다. 즉, 일반 대중을 대상으로 표본을 추출했다고는 하지만, 사실 샘플을 뽑는 과정을 볼 때는, 그 연구결과를 일반화 시키기 어려울 수 있다는 취지였다.

 

아는 만큼 보인다는 것은 이런 사례 등에서도 정확하게 적용될 수 있는 말일게다. 우리는 하루에도 수차례, 혹은 수십차례 숫자를 인용한 많은 뉴스와 주장과 견해들을 접하지만, 그들이 인용하고 있는 그 "숫자"들이 제대로 "발굴"된 것인지에 대한 의문을 품는 경우는 많지 않다. 이 저자 (Joel Best)가 주장하듯, 우리는 숫자가 인용되면, 그 숫자는 아주 객관적이고 과학적으로 추출되었을 것으로 간주하는 경우가 많다. 하지만, 이 책의 많은 예에서 볼 수 있듯, 사실을 그렇지 않은 경우가 더 많다.

 

좀 더 정확한 의사결정 (informed decision)을 하고, 좀 더 설득력 있는 주장을 하기 위해서는 여기저기에서 난무하는 많은 수치를 그대로 인용할 것이 아니라, 그 수치들이 누구를 대상으로 언제, 어디서, 어떻게 만들어지게 되었는지는 따져 보는 것이 더 중요할 수도 있다. 그렇게 하는 것이 소모적인 논쟁을 통해 시간과 에너지가 낭비되는 것을 줄이는 길일 수 있다.

 

 

---

 

 

In short, the question to ask about any number—even those that seem most authoritative—is not “Is it true?” Rather, the most important question is “How was it produced?” If some numbers are more authoritative, it is because we have more confidence in the processes that brought them into being. But this is not to say that we should imagine that any numbers offer magical solutions to our problem. (115)

 

It would be naïve to imagine that statistics reported by organizations simply mirror reality, that they reflect the simple, whole truth. We must acknowledge that there are trade-offs. Organizational numbers always condense complexity, which has both benefits and cost: such numbers allow us to summarize, to clarify, to grasp the big picture; but these summaries inevitably simplify, as people choose what to count and how to count it. The more consequential (magical) the numbers are, the more likely people are to think carefully about those choices and work to make the numbers convey their side of the story, and the less confidence we can have in the figures as a straightforward reflection of reality. (130)

 

We live in a complicated world, and we need statistics to help make the complexity understandable. We tend, then to seize upon whatever numbers are available, to treat them as factual, accurate distillations of reality—in other words, we treat them as if they have a magical power to summarize and clarify, to provide a firm basis for decisions. But as soon as people become aware that someone has begun to treat a number as magical, the “number games” begin; folks try to manipulate the number so that the magic can work in their favor. (142)

 

But facts are socially constructed. What we recognize as facts are products of people’s efforts to make sense of the world, to assemble enough evidence to support a general agreement that something is true. I am not arguing that there is no real world against which we can check our facts—there is. We all know that when we hold a rock in front of us and left go, it will fall down. Insisting that it will remain suspended in space won’t make that happen. Still, what knowledge is considered factual varies from time to time and place to place: for example, the most authoritative explanations for the cause of disease vary from one society to the next and across historical periods. (146-147)