2019년 영국 총선거 준비 기간에 당시 노동당 당수였던 제러미 코빈과 영국 총리이자 토리당 당수였던 보리스 존슨이 TV 토론회를 했다. 정치 여론조사 회사인 유고브YouGov가 토론회가 끝나고 여론조사를 해보았더니 존슨이 잘했다는 사람은 48퍼센트, 코빈이 잘했다는 사람은 46퍼센트, 잘 모르겠다는 사람은 7퍼센트로(모두 합치면 101퍼센트가 나온다. 이것은 반올림 때문에 생긴 것이다), 토론회의 승자가 누구인지를 두고 의견이 거의 반으로 나뉜 것으로 보고되었다. 이것을 두고 온라인에서 논쟁이 벌어졌다. 빠른 속도로 퍼져나간 한 트윗에서(이 글을 쓰고 있는 시점에서 리트윗이 1만 6,000건을 넘고 있다) 다른 여론조사에서는 아주 다른 결과가 나왔음을 지적한 것이다(다음 쪽 그림 참고). 5건의 여론조사 중 4건에서 코빈이 토론회에서 손쉽게 승리를 거둔 것으로 나왔다. 그와 반대의 결과가 나온 여론조사는 하나밖에 없었고, 표본의 크기도 다른 여론조사에 한참 못 미쳤다. 그런데도 공중파 뉴스 채널에서는 이 여론조사만 인용했다. 이 뉴스 채널이 코빈에게 불리하게 편향되어 있다는 의미일까?
--- p.47

통계적인 마인드를 갖춘 양심적인 연구자와 경험 많은 과학기자들이 완싱크의 행동을 밝히는 데는 몇 달의 시간이 걸렸다. 과학에 대한 기사를 쓰는 기자들은 대부분 언론을 대상으로 나오는 보도자료의 뉴스거리를 그때그때 받아서 쓴다. 그래서 이들이 데이터 세트를 확보한다고 해도 p-해킹을 찾아낼 수 없다. 그리고 보통은 데이터 세트를 확보하지도 못한다. p-해킹을 한 연구는 불공평한 이점을 누린다. 연구 결과가 참일 필요가 없기 때문에 흥미진진한 내용으로 채우기가 더 쉽고, 그렇다 보니 뉴스에서도 잘 다뤄준다. 독자들이 뉴스를 보고 이런 p-해킹을 찾아내기는 쉽지 않다. 하지만 무언가가 통계적으로 유의하다고 해서 그것이 곧 의미 있고 중요하다거나 진실이라는 의미는 아님을 유념해야 한다.
--- p.65

수가 얼마나 커야 큰 수일까? 사실 그런 기준은 존재하지 않는다. 사실 수의 크기나 다른 속성은 맥락에 따라 달라진다. 100은 집 안에 들어갈 사람의 수로는 아주 큰 수지만, 은하에 있는 항성의 수로는 아주 작은 수다. 2는 머리카락 개수로는 작은 수지만, 평생 받은 노벨상, 혹은 복부에 맞은 총상의 개수 로는 큰 수다. 하지만 뉴스에 등장하는 수는 맥락 없이 제시될 때가 많아 서 이것이 큰 수인지 아닌지 스스로 파악해야 한다. 맥락에서 가장 중요한 부분은 분모다. 분모는 분수의 가운데 선 아래의 수다. 3?4에서 4, 5?8에서 8이 분모다(선 위의 수는 분자라고 한다). 학교에서 수학을 배우던 시절 이후로 분모라는 용어를 사용할 일이 많지는 않았을 테지만, 뉴스에 나오는 수를 이해할 때는 대단히 중요한 부분이다. 어떤 수가 크고 작은지 알아내는 일은 결국 가장 적당한 분모가 무엇인지 알아내는 일로 귀결된다.
--- p.92

예를 들어 이 책의 저자 중 한 명인 데이비드 치버스가 공부한 맨체스터대학교는 세계 대학 순위에서는 27위였지만, 〈가디언〉의 영국 대학 순위 목록에서는 40위를 했다. 이것은 분명 터무니없는 결과다. 영국에서 맨체스터대학교보다 나은 대학교가 39개나 된다면 전 세계적으로 맨체스터대학교보다 나은 대학이 26개밖에 없을 수는 없다. 영국도 전 세계에 포함되니까 말이다. 또 한 명의 저자 톰 치버스가 다닌 킹스칼리지런던King’s College London의 경우도 이상하다. 영국에서는 63위를 했는데 전 세계에서는 31위를 차지했다. 이렇게 직관에 어긋나는 결과가 나오는 이유는 어떤 항목을 포함시킬 것인지, 그리고 어떤 항목에 가중치를 둘 것인지에 대한 판단이 다르기 때문이다. ‘학문적 평판’보다 ‘학생의 만족’을 더 중요하게 여긴다면 결과가 다르게 나올 것이다. 무엇을 고려할 것인지에 대한 자의적 판단에 따라 상황이 아주 크게 달라진다. 그렇다고 이런 순위 매기기가 모두 틀렸다는 이야기는 아니지만, 순위를 신성불가침의 진리로 보아서는 안 된다.
--- p.129

더 중요한 점은 수천 명의 다른 국회의원, 기자, 학자 등이 앞으로 어떤 일이 일어나고, 어떤 일이 일어나지 않으리라고 온갖 발표를 했다는 점이다. 그중에는 옳은 소리가 항상 들어 있을 수밖에 없다. 당신이 로또에 당첨될 확률은 아주 희박하지만, 누군가는 아마도 로또에 당첨될 것이다. 특별한 통찰력이 없어도 누군가는 로또에 당첨된다. 17장에서 보았듯이 미래를 예측하기는 힘들다. 경제를 예측하기는 더 힘들다. 경제를 효과적으로 예측할 수만 있다면 백만장자가 되기는 어렵지 않다. 다섯 번의 경기침체 중 아홉 번을 예측했다는 것은, 즉 네 번만 틀렸다는 것은 사실 놀라울 정도로 훌륭한 성과다. 하지만 일이 벌어지고 난 후에야 누가 그 일을 예측했었는지 찾으려 하면 텍사스 명사수 오류에 빠질 가능성이 크다. 무작위로 점점이 흩어져 있는 데이터 속에서 우연히 결과와 일치하게 된 데이터를 찾아 거기에 동그란 과녁을 그리고 있는 셈이다.
--- p.188쪽

충돌 편향을 알아차리기는 쉽지 않다. 예를 들어 일부 과학자는 ‘비만의 역설obesity paradox’ 뒤에도 충돌 편향이 자리 잡고 있다고 주장한다. 비만의 역설이란 비만인 사람이 정상 체중인 사람보다 당뇨로 사망할 확률이 낮은 것처럼 보이는 현상을 말한다. 이것이 사실이 아니라 주장하는 사람들이 있다. 여기에 대해서는 현재 논쟁이 이어지고 있다. 과학자들도 무엇이 충돌 편향이고, 무엇이 아닌지 확실히 정하지 못하고 있는 마당에 기자와 독자들에게 그것을 요구하는 것은 불공정해 보인다. 하지만 연구에서 다른 요인들을 통제하기 위해 최선을 다했어도 상관관계가 여러 방식으로 오해를 불러일으킬 수 있음을 인식하고 있는 것이 좋다. 때로는 잘해보겠다고 요인을 통제하는 것이 오히려 상황을 악화시키기도 한다.
--- p.210

평가 기준이란 다면적이고 복잡해서 정의하기는 힘들지만, 실제로 존재하는 어떤 특성을 파악하기 위해 사용하는 대용물에 불과하다. 정말로 중요한 것은 그 특성이다. 언론 종사자들도 그런 점을 쉽게 잊어버린다. 그래서 언론에는 개인 보호 장비 물품이 몇 개나 생산되었는지에 관한 이야기가 나올 뿐, 그 각각의 물품이 N95 등급 마스크인지, 고무장갑 한 짝인지에 대해서는 별로 신경 쓰지 않는다. 굿하트의 법칙을 어느 정도 피해갈 수 있는 방법이 존재한다. 평가 기준을 자주 바꿔주거나 다중의 평가 기준을 이용해서 평가하면 완화할 수 있다. 하지만 그 어떤 측정법도 밑바탕 현실을 온전히 포착할 수는 없을 것이다. 현실이 항상 더 복잡하기 때문이다. 작가 윌 커트는 트위터에서 이렇게 말한 적이 있다. “완벽한 요약 통계를 찾는 것은 책을 읽지 않고도 그 내용을 알 수 있는 책 표지 카피를 찾는 것과 같다.”

“숫자는 어떻게 만들어지고, 어떻게 사용되고, 어떻게 잘못되는가?”<br/>뉴스에서 믿을 만한 숫자, 믿지 못할 숫자 가려내는 법<br/><br/>★★★ “재미있게 읽느라 얼마나 많은 것을 배우고 있는지조차 알아차리지 못할 것” <br/>_팀 하포드(《경제학 콘서트》 저자, [파이낸셜타임스] 수석 칼럼니스트)<br/><br/>여론조사 결과부터 범죄 건수, 경제성장률, 코로나19 확진자 수까지, 숫자로 둘러싸인 세상에서 어떻게 하면 상황을 제대로 이해하고 더 나은 판단을 내릴 수 있을까? 우리는 하루에도 수많은 숫자를 접한다. 수많은 통계가 뉴스 헤드라인에 등장하고, 언론과 미디어는 경쟁이라도 하듯 충격적인 숫자를 노출한다. SNS와 유튜브에서는 짜릿한 수치들이 왜곡된 채 퍼져나간다. 오늘날만큼 진실과 거짓을 가려내는 능력이 필요한 시기는 없었던 듯하다. 또한 코로나19라는 격변의 시대를 지내오며 전 세계는 감염재생산지수, 총사망자 수 등 통계 개념에 대해 황급히 배우게 됐다. 통계학자 프레더릭 모스텔러는 “통계 없이 진실을 말하기는 어렵다”라고 했는데, 각종 통계 수치에서 진실을 찾아내야 하는 시절이 되었다. 이런 때일수록 숫자를 읽는 힘이 절실하다. 정확하게 숫자를 읽는 힘은 세상을 이해하는 강력한 도구이다.<br/> 《숫자에 속지 않고 숫자 읽는 법》은 부정확하거나 모순되는 결과들을 그럴싸한 숫자로 포장한 것을 가려내고, 필요한 정보를 정확하게 파악하는 법을 제시하는 안내서이다. 겉으로 단순해 보이는 숫자가 어떻게 본질을 호도하고 오류를 낳는지 설명한다. [가디언] [데일리 텔레그래프] [더 타임스] 등 최근 영국의 실제 뉴스 헤드라인을 예시로 들어 꼭 필요한 통계 원리를 설명하는데, 수학 지식이 전혀 없어도 누구나 쉽게 이해하고 재미있게 읽을 수 있다.<br/><br/>“영국판 [괴짜경제학]이라 불릴 만하다!”<br/>숫자 다루는 사람들의 필독서<br/>영국에서 ‘올해의 과학작가’로 뽑히고 영국 언론상을 수상하기도 한 톰 치버스와 그의 사촌인 더럼대학교 경제학과 교수 데이비드 치버스 콤비의 친절하면서도 유쾌한 서술이 돋보이는 책이다. 중앙값, 표준편차 같은 기본적인 통계 용어부터 p값, 체리피킹, 표집 편향, 베이즈 정리 같은 평소에 이해하지 못했던 통계에 관한 지식 전반을 22개의 짤막한 장에서 부담 없이 풀어내는데, 영국식 유머와 흡인력 있는 사례들 덕에 독자들은 재미있게 읽느라 얼마나 많은 것을 배우고 있는지조차 알아차리지 못할 것이다. 부록으로 수록한 ‘통계 스타일 가이드’는 ‘숫자의 맥락을 제시하라’, ‘상대위험뿐 아니라 절대위험도 함께 제시하라’, 숫자 하나로 예보하지 말고 신뢰구간을 함께 제시하라’와 같은 핵심적인 유의점 11가지를 추려 제시하는데, 숫자를 다루는 사람들에게 유용한 지침이 될 것이다. <br/><br/>영국의 실제 뉴스 헤드라인 속<br/>이상한 숫자들을 파헤치다<br/>이 책에는 실제 영국의 흥미진진한 최신 뉴스 기사들이 등장한다. 선거 여론조사부터 일기예보, 경제지표 등 우리나라에서도 흔히 볼 법한 사례들이어서 더욱 공감하며 읽을 수 있다. 저자는 뉴스 속 숫자의 오류를 바로잡으며 숫자 이면의 숨은 의도를 어떻게 간파할 수 있는지를 설명한다. <br/><br/>● 측정대상과 방식에 따라 수치는 완전히 뒤바뀔 수 있다<br/>영국에서 “자폐증 급속 확산, 54명 중 1명”이라는 헤드라인을 달고 기사가 쏟아졌다(12장). 미국 질병통제예방센터에서 발표한 자폐증 환자 비율을 보면 2000년 150명 중 1명에서 2016년 54명 중 1명으로 몇 배나 급격히 높아졌는데 여러 전문가와 언론은 중금속 오염, 살충제, 심지어 ‘냉담한 부모’까지도 그 원인으로 지목했다. 하지만 그 원인은 단순했다. 의학계에서 자폐증의 정의를 확대해왔고 이에 따라 더 많은 아동을 대상으로 진단 검사를 실시했기 때문이었다. 측정대상이나 방식에 따라 숫자가 바뀔 수 있으므로, “혐오범죄, 5년 동안 2배 증가”, “코로나19 사망자 수 급증”처럼 수치가 급격히 변하는 사례를 유의해야 한다.<br/><br/>● 생존자 편향의 오류, 걸러진 데이터로 끼워 맞추기<br/>“베스트셀러의 공통 특성, 2,800가지 밝혀져”라는 기사 역시 완벽한 오류다(20장). 각자 다른 색 모자를 쓴 1,000명에게 주사위를 굴리게 했는데, 네 번이나 연속으로 6이 나온 주황색 모자를 쓴 사람을 보고 “주사위를 굴려 연속으로 6이 나오는 비밀은 주황색 모자를 쓰는 것이군요”라고 말하는 것과 다를 바 없다. 어느 악랄한 범죄자를 조사해 그가 평소 폭력적인 게임을 좋아했다는 사실을 알게 되었다고 하자. 이를 두고 “폭력적인 게임을 즐길수록 범죄자가 될 확률이 높다”라고 말하는 것도 마찬가지다. 이것은 특정 결과에 편향된 표본을 끼워 맞추는 ‘생존자 편향’의 전형적인 사례다. 소수의 성공한 사례를 일반화시키는 이 오류가 빈번히 벌어지고 있음에 주의해야 한다. <br/><br/>● 정확한 숫자 뒤엔 불확실성 구간이 있다<br/>영국 예산책임청에서는 2020년도 경제성장률을 1.2퍼센트로 예측하며 불확실성 구간을 -0.8에서 3.2퍼센트로 두었다(17장). 사실상 이 불확실성 구간 수치는 ‘심각한 경기침체와 거대한 경제호황 사이의 어디쯤’ 정도의, 오차범위가 매우 큰 수준이지만 헤드라인에는 그 중간인 1.2퍼센트만 보도되었다. “코로나19 사망자 수 50만 명 넘을 것”, “실업률 2% 낮아질 것” 같은 헤드라인 속 숫자는 불확실성 구간에서 가운데를 차지하는 값에 불과하다. 단정적인 수치 예측만 보도하는 것은 위험하다. 언론은 이런 불확실성 구간도 함께 보도할 의무가 있다.<br/><br/>● 숫자로 속이는 법, 숫자에 속지 않는 법<br/>저자는 우리가 평소 알아차리지 못해 속아왔던 숫자의 속임수를 낱낱이 공개한다. 숫자의 어떤 부분이 왜곡되었고 어떻게 경계해야 하는지를 일깨워준다. 그중 하나는 시작점과 끝점을 자기에게 유리한 것으로만 고르는 ‘체리피킹’이다(16장). 예를 들어 현 정부 관료가 아동빈곤 문제가 개선되었다고 주장하려면 아동빈곤율이 가장 높았던 연도를 시작점으로 잡고, 야당 당원이라면 아동빈곤율이 특히 낮았던 연도를 시작점으로 잡으려 할 것이다. 즉, 튀는 데이터를 고르면 진실을 가리는 이야기를 전할 수 있는 것이다. 이외에도 표본이 작은 연구로 편향된 결과 사용하기(4장), 뭔가 나올 때까지 데이터를 잘게 쪼개서 원하는 숫자 만들기(5장), 단순한 상관관계를 인과관계로 둔갑시키기(8장), 실제로는 아무 일도 없는데 마치 무슨 일이 일어나는 것처럼 조장하기(19장) 등을 소개한다.<br/><br/>기사를 쓰고 뉴스를 전달하는 언론인부터 각종 뉴스레터를 발송하는 미디어 기업, 수치로 정책을 발표하는 정치인, SNS나 유튜브 등 매체를 다루는 인플루언서, 트렌드와 이슈에 민감한 콘텐츠 에디터, 출퇴근길에 하루 뉴스를 확인하는 직장인까지, 숫자를 책임감 있게 다루어야 할 사람 모두에게 이 책을 권한다. <br/>“통계학의 기본적 소양을 갖추는 데 큰 도움이 될 이 책이 나와 정말 반갑다. 이 책은 숫자를 건강하게 의심할 수 있는 힘을 길러줄 것이다. 통계를 읽는 힘을 원하지만 그렇다고 통계 전문가가 될 생각은 없는 사람들에게는 더할 나위 없이 좋은 책이다.”(옮긴이의 말 중)

“뉴스 속 숫자가 왜 잘못되었는지 눈을 뜨게 하는 박식한 안내서. 복잡한 자료를 이해할 수 있게 풀어주며, 표집 편향, 통계적 유의성, 그리고 신문 속 일상적인 숫자를 믿는 것의 위험성에 대해 독자를 사로잡는 지혜를 제공한다.”

“매력적이고 실용적이며 통찰력 있는 가이드. 재미있게 읽느라 얼마나 많은 것을 배우고 있는지조차 알아차리지 못할 것이다.”

“멍청해 보이고 싶지 않다면 이 책을 적극 추천한다.”