과학 분야에 대한 책도 읽고 공부하며, 과학 연구 과정과 그 과정에서 간과되는 오류의 가능성에 대해 더 알아보고 싶어 구입했습니다.
“재현되지 않으면 과학이 아니다!” 정말 당연한 명제이지만 일반인인 저도, 그리고 가끔씩은 연구자들조차도 눈 앞의 이득, 명성, 인지 편향 등과 같은 여러 이유들로 이 명제를 고의적으로 혹은 무의식적으로 무시하고 있다는 사실을 일깨워주는 책이었습니다.

  이 책도 ＜겨울서점＞에서 소개된 책이다. 가설을 세우고 검증하는 분석을 하고 있다. 그런면에서 이 책에 대한 소개가 끌렸었던 것 같다. 사이언스에서 배제되어야만 할 것 같은 '픽션'이라는 단어와의 조합이 만들어 내는 이질적인 제목도 좋았다. 과학 속에 어떤 모순들이 들어 있을까, 궁금해 하며 책을 읽기 시작했다. 

  이 책에서 가장 문제시하는 과학의 문제점은 바로 '재현'이다. 재현되지 않는 가설의 검증이 버젓이 사회에 나와 진실인 것처럼 호도되는 현실을 비판하고 있다. 과학이란 뭔가 넘어설 수 없는 벽 혹은 진리 같은 것이라는 믿음에 금이 가게 만드는 것이 '재현'의 실패이다. 예를 들면, 1+1은 언제나 2여야 과학인 것이다. 누가 어떤 방법으로 연필 하나와 다른 연필 하나를 더했을 때 연필 2개 이외의 숫자가 만들어져서는 안되는 것이다. 그러면 1+1은 2가 아니게 되는 것이다. 이 책에서는 정말 많은 연구들이 그것도 다양한 분야에서 '재현'되지 않음을 이야기 한다. 그 숫자에 놀랐고, 그 위험성에 놀랐다.

  경제학을 공부하면서(사실 어느 학문을 공부하더라도) 석사 이상의 과정에 들어가게 되면, 좋든 싫든 논문들을 읽어야만 한다. 그리고 논문들을 replication 해보는 경우도 생긴다. 논문에 사용된 자료들을 가지고 똑같이 재현을 해보면서 방법론을 배우게 되고, 내가 분석하고자 하는 가설들에 그 방법론을 사용한다. 요즘은 데이터와 프로그램이 같이 제공되기도 하는데(국내보다는 외국 논문이 더 잘 제공되는 것 같다), 꼭 똑같이 재현되지 않는 경우도 있었다. 그런 경우에 나는 어떻게 행동을 했었던가. 내가 뭔가 프로그램을 잘못 돌렸던가, 아니면 데이터 처리 과정에서 실수를 했었다고 생각을 했었던 것 같다.

  논문들을 읽으면서 이 책에서 말하는 조작과 편향, 부주의, 과장에 대해서 비판적 과정없이 무조건 받아들였던 것은 아니다. 하지만 그런 생각에 앞서, 저널에 투고되어 출판까지 된 논문에 대한 신뢰 하에 나의 실수를 먼저 돌아보게 되었던 것 같다. 이 책에서 말하는 과학에의 신뢰는 이런 의미가 아니었을까. 그 신뢰에 조금은 더 비판적으로 바라보는 시각을 갖게 해 준 책이다. 아울러 현재 연구 진행 과정에서 발생하는 문제점들을 속속들이 파헤치고 있다. 문제점만을 제기하는 것이 아니라, 이러한 문제들이 해결될 수 있는 방안들도 함께 제시하고 있다. 저자는 진정으로 과학계가 변화되길 바라고 있다. 

  최근에 논문을 작성해야 할 일이 생겼다. 아니, 차일피일 미루고 있던 일을 더이상 미룰수 없게 된 시점에 이르렀다. 시작 전에 이 책을 만난 것은 다행일까. 나는 정말 이 책에서 말하는 문제점들에 하나도 걸리지 않고 연구를 진행할 수 있을까. 겁이 난다. 잘못된 가설 검정이 주는 피해 사례는 정말로 크고 무서웠다. 의학이나 과학쪽이 아닌 사회과학 연구니까, 하는 안일한 생각을 갖지 않을 수 있을까. 내가 하는 일과 작업에 의식의 전환이 필요한 시점인 것 같다.

나는 지질조사를 통해 자연의 역학적 상태를 평가하고 그 결과로 구조물 기초나 터널을 설계하는 일을 해왔다. 지질조사는 불균질(heterogeneous)한 자연의 일부분을 확인해 전체를 추정하는 표본조사이기 때문에 수많은 가설이 필요하고 가설을 입증해 나가는데 필연적으로 오류가 끼어들 수밖에 없다. 돌아보니 조사하는 동안 한정된 표본에서 얻은 데이터를 분석하는 과정에서 (의식하지 못한 채) 이런저런 방식으로 데이터를 오염시켰다. 애매한 데이터는 가설을 입증하는 자료로 사용하고 가설과 맞지 않는 것은 노이즈로 판단해 제거한 것이다. 그러다 보니 실제로 지반이나 사면을 굴착했을 때 추정치가 맞아 떨어진 적은 손에 꼽을 정도였다. 그럼에도 불구하고 나는 내 성과물에 오류는 있을망정 그것이 의도적인 것은 아니었다는 입장을 고수하고 있다. 그 말은 ‘의도적인 것이었을 지도 모른다는 불안’을 애써 외면하는 모습일지도 모른다. 그래서 ＜과학은 어떻게 추락하는가＞라는 이 책의 부제가 여상히 보이지 않았다. 오류와 왜곡의 경계가 모호하기도 하고 그 끝은 추락일 수밖에 없으니 말이다.

책 뒤표지에는 ＜재현되지 않으면 과학이 아니다＞라는, ‘과학자에게 너무 당연해서 잊힌 명제’가 실렸다. 저자는 과학자들의 연구결과가 널리 활용되지 못하는, 때로는 오히려 해악을 끼치는 원인을 재현성(replicability)과 반복성(reproducibility)이 확보되지 않았기 때문이라고 지적하면서 이 책을 시작한다. 논문과 동일한 주제를 동일한 데이터 세트로 분석해 같은 결과 얻는 것을 반복성이라고 하고 동일한 주제를 다른 데이터 세트로 분석해 같은 결과 얻는 것을 재현성이라고 하는데, 저자는 재현성은 고사하고 반복성마저 입증되지 않는 것은 연구 내용에 오류가 있던가 데이터에 손을 댔기 때문이라고 지적한다. 그리고 그 사례와 과학자들이 오류와 왜곡을 저지르는 배경을 파헤쳐 나간다. 그러면서 어떤 과학적 주장도 절대 액면 그대로 받아들여서는 안 되며, 모든 데이터와 그것을 얻는데 사용한 과학적 방법론이 옳은지에 대해 제대로 확인할 때까지는 결과에 대한 판단을 보류해야 한다고 말한다.

한정된 연구 환경에서 일어나는 ‘오류’와 의도적으로 연구결과를 ‘왜곡’하는 일은 전혀 다른 것처럼 들린다. 하지만 저자의 설명을 따라가다 보면 의도적으로 연구결과를 왜곡한 과학자마저도 처음부터 왜곡할 의도로 연구를 시작한 것은 아니고 어쩔 수 없이 그런 상황에 몰리는 경우가 대부분인 것을 알게 된다. 과학자 자신도 오류에서 왜곡으로 넘어가는 것을 제대로 의식하지 못할 만큼 그 경계가 모호하다는 말이다. 그래서 저자는 이해충돌에 좀 더 민감해지거나 제도적 장치를 보완하는 것으로 이런 문제를 개선해 나가야 한다고 주장한다.

비록 오류와 왜곡의 경계가 모호하기는 하지만 책을 읽다 보면 그런 문제의 출발점에는 늘 열악한 연구 환경이 자리 잡고 있는 것을 알게 된다. 그런데 과학자 대부분이 직면하고 있는 열악한 연구 환경을 개선한다는 것이 가능한 일인가? 그리고 왜곡을 막을 제도적 장치를 마련한다고 해서 이 문제가 해결될 것인가? 지난주에 읽은 ＜대통령의 숙제＞에서 저자 한지원이 “법을 만들고 집행하는 전문가들은 100가지 법을 만들어도 200가지 편법을 찾아낼 수 있다”고 말하듯, 제도를 통해 추락한 과학의 신뢰를 회복해야 한다는 저자의 주장은 공허하기만 하다.

500여 쪽에 달하는 분량이 부담스럽기는 하지만 과학이 이렇게까지 추락하게 된 원인을 제거하기 위한 (공허하게 들리는) 제도적 장치를 설명하는 3부 ＜잃어버린 과학의 정신을 되찾는 길＞ 100여 쪽, 인용 출처를 밝힌 미주 150여 쪽을 건너뛰면 두세 시간이면 읽을 수 있다. 평소 과학에 관심이 있거나 논리적 사고에 익숙한 이들의 흥미를 끌만한 책이다. 담고 있는 내용도 묵직하다.

과학의 타락을 불러온 재현성의 위기

저자는 재현성의 위기가 과학을 타락을 불러왔다고 판단한다.

“2015년 3개의 주요 심리학 학술지에 게재된 논문 100편을 대상으로 반복 재현시험을 실시한 결과 39%만 재현에 성공했다. 2018년 세계 2대 종합과학저널인 ＜네이처＞와 ＜사이언스＞에 게재된 사회과학논문 21편 중 재현에 성공한 것은 62%였다. 다른 시험 결과의 재현 성공률은 77%, 54%, 38%로 나타났다. 반복 재현에 성공한 경우라고 해도 거의 모든 경우 효과를 과장하고 있었다. 2016년 ＜네이처＞ 설문조사 결과 응답한 과학자의 38%가 재현성에 ‘다소의 위기’가 있다고 대답했다. 다른 연구자의 연구결과를 재현하지 못한 경험이 있느냐는 설문에 대해 화학자의 90%, 생물학자의 80%, 물리학자ㆍ공학자ㆍ의학자의 70%가 그렇다고 응답했다. 심지어 자신의 연구 결과를 재현하는데 어려움을 겪었다고 응답한 경우는 이보다 약간 낮은 정도였다.”

저자는 재현성이 담보되지 않은 과학적 주장은 과학의 신뢰를 떨어뜨릴 뿐 아니라 생명을 위협하는 해악을 끼치기도 한다면서 그 예로 비윤리적인 행동에 대해 베껴 적는 실험이 끝나자 비누를 사고 싶어 하는 마음이 들 확률이 높아졌다는 ‘맥베스 현상’, 스트레스 받을 때 다리를 벌리고 엉덩이에 손을 얹는 자세를 취하면 심리적 호르몬적 자극을 통해 스스로 강해졌다고 느낄 뿐 아니라 베팅에서 더 높은 위험을 감수한다는 파워포즈(power posing), 좋은 사람이라 할지라도 나쁜 상황에 몰아넣으면 모든 것이 매우 빠른 속도로 나빠질 수 있다는 스탠퍼드 감옥실험(Stanford Prison Experiment) 결과를 들면서 이 모든 주장이 과학적으로 전혀 의미가 없다는 것이 밝혀졌다고 말한다. 심지어 심장마비 환자의 체온을 낮추면 회복될 가능성이 높아진다는 보고에 따라 오랫동안 이런 처치방법이 구급 가이드라인에 포함되었지만, 실제로는 그런 조치가 생존율을 높이기는커녕 이송 도중 두 번째 심장마비를 일으킬 가능성을 높인다는 사실이 확인되었다고 그 해악을 드러낸다. 또한 그동안 뇌졸중이 일어나면 가능한 환자를 빨리 움직이게 하는 게 최선이라고 받아들여졌지만 2015년 실시한 대규모 무작위 실험결과 이런 치료법이 오히려 증상을 악화시킨다는 것이 확인되었다고 예를 이어간다.

이런 오류는 처음부터 과학자들이 의도를 가지고 저지르는 것은 아니다. 저자는 그 예로 출판편향(publication bias)을 예로 든다. ‘책상서랍 문제’라고도 부르는 출판편향은 과학자들이 실패한 연구결과를 세상에 알리지 않고 책상 서랍에 숨긴다는 뜻인데, 이는 발표할 긍정적인 결과가 없다면 아무 것도 발표하지 않는다는 말이다. 저자는 이런 문제를 타개하기 위해 2014년 스탠퍼드 연구원들이 시작한 책상서랍 열기(unlocking the file-drawer) 프로젝트를 인용한다.

“그들은 2002-2012년 동안 정부 연구 프로그램에 지원한 저자들이 발표한 논문을 검토했는데, 그 결과 완료된 연구 중 저자들이 세운 가설을 입증한 경우는 41%에 지나지 않았고, 37%는 결과가 뒤섞여 나왔고, 22%는 가설이 틀렸다는 결과를 얻었다. 그러나 프로젝트 결과가 논문으로 발표된 것은 가설을 입증한 경우가 53%, 뒤섞인 경우가 37%, 가설이 틀린 경우가 9%로 나타났다. 프로젝트 결과 가설이 틀린 것으로 확인된 경우 중 65%는 아예 논문으로 작성되지도 않았다.”

문제는 과학자들이 그간 들인 노력 때문에 연구결과를 ‘책상서랍’에 넣어두기가 아깝다고 여기는 순간 일어난다. 다른 한쪽에서 데이터에 손을 대고 싶은 유혹이 슬며시 고개를 든다는 것이다. 그리고 많은 과학자들이 자신도 인지하지 못한 채 그런 행위를 하고 있고, 설령 그것을 인지한다고 해도 그것이 왜 잘못된 것인지 모른다는 게 더 큰 문제라고 지적한다.

저자는 이와 같은 경우에 연구결과를 책상서랍에 감추는 대신 거기서 뭔가 건질만한 게 있지 않은지 살피는 과학자들이 생긴다고 말한다. 코넬대학교 완싱크 교수는 뷔페에서 큰 접시를 쓸 경우 원래보다 훨씬 더 많이 먹게 된다는 주장을 펼쳤는데, 이후 그의 주장이 무너지자 그는 결과를 책상 서랍에 감추는 대신 연구원에게 그 중에서 유의미한 결과를 찾아내라고 요구했다. 가설을 세우고 결과를 확인하는 게 아니라 결과가 알려진 후 가설을 세운 것이다. 말하자면 권총을 무작위로 쏜 후 우연히 가까이 있는 총알구멍 주위에 과녁을 그려 넣은 ‘텍사스 저격수(Texas sharpshooter)’가 된 것이다.

저자는 또 다른 데이터 오류의 사례로 표본으로부터 얻은 데이터만 사용한 게 아니라 연구와 병행해 유의미한 결과를 얻을 때까지 표본을 계속 추가한 사례를 든다. 그 과정에서 일부 참가자를 자의적으로 제외하거나, 튀는 데이터를 제거하거나, 여러 번 측정한 결과 중에 신뢰도가 높은 결과만 채택하거나, 시험 대상자에게 물어본 질문 중 효과가 입증된 질문만 논문에 싣는다는 것이다. 나 역시 이런 경우가 많았다. 그러면서 그것을 데이터 검증이라는 말로 합리화했다. 그런데 나만 그런 것이 아니라 저자 역시 많은 과학자들이 이런 행위를 자신들의 연구결과를 좀 더 분명하게 만드는 과정이라고 믿는다고 말한다. 하지만 이 정도라면 이미 오류는 아니고 왜곡이라고 보는 게 맞지 않을까.

이와 같은 ‘텍사스 저격수’ 현상이나 연구과정에서 데이터를 추가하는 문제를 바로잡기 위해 2005년부터 국제의학저널 편집위원회는 인간을 대상으로 하는 모든 임상시험은 실시하기 전에 공개적으로 시험 목적과 계획을 등록하도록 규칙을 정했다.

저자는 이와 같은 의도적인 왜곡이 아니라도 부주의나 관심이 부족해 일어나는 오류 또한 치명적인 결과를 만든다고 지적한다. 실제로 오류의 상당 부분은 통계 분석 소프트웨어에서 나온 숫자를 복사해 논문 작성용 워드프로세서에 붙여 넣을 때 생긴다는 것이다. 저자는 유전학 논문에서 엑셀 스프레드시트가 SEP2나 MARCH1과 같은 유전자 이름을 날짜로 인식해 자동 수정해서 생긴 오류도 소개한다. 이 모두 나도 수없이 겪은 일이다. 이런 오류는 대부분 사소한 것이어서 결과에 별다른 영향을 미치지 않지만 그 중 13%에서는 해석을 완전히 바꿔야 하는 심각한 실수였다고 하니 오류라고 해서 가벼이 여길 일이 아니다.

오류가 왜곡을 거쳐 사기로까지 이어지는 배경

저자는 오류가 왜곡으로 이어지는 데는 열악한 연구 환경이 자리하고 있다고 말한다.

“학교에서는 대규모 연구자금을 구하기 어렵기 때문에 어떻게든 자신들이 가진 연구자금으로 견뎌야 하고, 그래서 충분하지 않은 표본에 의지해 연구할 수밖에 없다. 따라서 본격적인 연구를 위해서는 외부자금에 기댈 수밖에 없는데, 자금을 지원하는 단체에서는 지루하고 고달픈 연구보다는 화려하고 과시적인 발견을 선호한다. 언론이 과학자들의 연구결과를 잘못 전달하기도 하지만 그보다는 이런 이유로 과학자 스스로 과장된 정보를 제공하는 경우가 훨씬 많다.”

“과학자뿐만 아니라 과학자들이 따오는 연구지원금에 의지해 운영하는 대학에서는 연구지원금에 사활이 걸렸다 해도 과언이 아니다. 연구자들은 평균적으로 전체 일하는 시간의 8%, 연구하는 시간의 19%를 연구지원금 신청서를 작성하는데 쓴다는 연구도 있지만, 실제 비율은 그보다 훨씬 높을 것이다. 이미 풍부하게 연구지원금을 확보한 연구자들과 경쟁하기 위해서는 어떻게든 연구지원금 신청서를 과장하지 않으면 안 된다.”

이런 과정에서 오류는 왜곡으로, 왜곡은 논문 사기로까지 확대된다. 사실 논문 사기는 자신의 명성과 평판을 높이려는 과학자 스스로 저지르기도 하지만, 과학자의 명성이 필요한 대학이나 기관에서 의도적으로 묵인하거나 은폐해서 일어나기도 한다. 부끄럽게도 저자는 황우석 사태를 그 사례로 들고 있다. 그러면서 이런 일은 평범한 과학자라면 무시하거나 믿지 않을 이론이나 가설을 진지하게 생각하는 그들의 열정적인 믿음 때문에 일어난다고 말한다. 그들이 철석같이 믿었던 것이 사실이 아닌 것으로 드러나면 충격에 휩싸일 수밖에 없고 그 결과가 사기로 이어지는 것이지, 처음부터 거짓을 주장하려 한 것은 아니었다는 말이다.

수년간 우리를 괴롭혔던 코로나가 이제 희미하게나마 끝을 드러내기 시작했다. 하지만 아직도 백신 무용론, 더 나아가 백신 음모론을 주장하며 백신을 거부하는 사람들이 적지 않다. 의학박사인 친구 하나는 아직도 그 주장을 내세우며 백신 미접종자에게 가해지는 불편을 감수하고 있다. 누구보다 그런 주장이 갖는 허구를 잘 알 만한 사람이 그런 주장에 함몰되어 있는 것을 보면서 도대체 무엇이 그가 그런 확신을 갖게 만들었는지 궁금했다. 이 책을 읽으면서 그 일단을 접하게 되었다.

“1998년 영국 의사 웨이크필드는 홍역 백신이 자폐증과 관계가 있다는 이론을 주장했다. 백신을 맞은 후 인체에 남아있던 홍역 바이러스가 장과 뇌에 자폐증 관련 증상을 일으키는 원인 물질이 된다는 것이었다. 그는 자폐증 아동의 부모를 대리해 백신 제조업체를 고소하려는 변호사에게 상당한 보수를 받고 고용된 상태였다. 그가 연구를 위해 환자를 모집하는 과정에 해당 변호사와 연관된 백신 반대 단체가 관련되었다. 그는 연구결과 발표 1년 전에 홍역백신을 기피하는 이들을 겨냥한 단일홍역백신과 관련된 특허를 신청했다. 이와 같은 이해충돌 내용 중 어떤 것도 논문에 공개하지 않았다. 이 논문은 2004년 철회되고 웨이크필드는 영국에서 더 이상 의사로 활동할 수 없게 되었지만, 그는 그 후로도 미국 백신저항운동 분야에서 활동하며 명성을 날렸다. 그의 사기극은 사람들의 백신 공포에 불을 붙였고 어떤 바이러스보다 빨리 퍼졌다. 1990년대 후반까지 영국의 홍역백신 접종률은 이미 집단면역이 발현되는 데 필요한 95% 수준까지 도달해 있었다. 이후 접종률이 80%까지 곤두박질치고 홍역 발생률은 상승세로 돌아섰다. 전 유럽과 다른 지역에서 발병되기 시작하고 오랫동안 홍역이 없었던 나라에서도 발병하기 시작했다. 세계보건기구의 추정치에 따르면 2018년 한 해에만 홍역과 그에 따른 합병증으로 14만 명 이상이 사망한 것으로 나타났다.”

이는 저자가 이 책에서 말하고자 하는 주제와 거리가 있는 상당히 극단적인 사례이지만, 과학이 의도를 갖게 되었을 때 얼마나 치명적인 문제를 일으킬 수 있는지 경각심을 일깨우는 글이어서 인용한다.