분야
분야 전체
크레마클럽 허브

사이언스 픽션

과학은 어떻게 추락하는가

스튜어트 리치 저/김종명 | 더난출판 | 2022년 3월 8일 한줄평 총점 0.0 (46건)정보 더 보기/감추기
  •  종이책 리뷰 (46건)
  •  eBook 리뷰 (0건)
  •  한줄평 (0건)
분야
자연과학 > 과학일반
파일정보
EPUB(DRM) 54.77MB
지원기기
크레마 PC(윈도우 - 4K 모니터 미지원) 아이폰 아이패드 안드로이드폰 안드로이드패드 전자책단말기(일부 기기 사용 불가)

이 상품의 태그

책 소개

“과장은 했지만 허위는 아니다?”
학문 윤리와 연구 윤리에 관한 적나라한 고발과 반성

유명인들의 허위 경력 기재나 논문 표절은 심심하면 사회적 이슈가 되는 드물지 않은 문제다. 그만큼 많은 사람들에게 학문에 대한 도덕불감증이 심각한 현실이다.

영국의 심리학자 스튜어트 리치는 신간 《사이언스 픽션》에서 전 세계적으로 학계 내부에 만연한 기준 미달의 연구와 불량 논문에 대한 실태를 파악하고 낱낱이 내부고발한다. 학자들의 “그릇된 ‘탐구욕’이 어떻게 ‘탐욕’이 되는가?”를 추적하는 이 책은 대학생, 대학원생, 교수 등 연구를 하거나 논문을 쓰는 사람이라면 누구나 읽어야 할 필독서다.

목차

서문_과학은 사회적 활동이자 인간의 실수를 드러내는 도구
제1부_픽션을 닮은 과학
제1장_과학은 어떻게 작동하는가
논문 출판과 동료 평가의 세계
과학은 사회적 활동이다
제2장_반복 재현의 위기 - 과학의 위기를 자초한 학자들
짐바르도와 밀그램의 실험
과학의 위기
과학계를 위협하는 불확실성
출판된 논문이 거짓으로 판명되다
제2부_실수와 오류를 은폐하는 학자들의 속마음
제3장_조작 - 논문 사기가 만들어낸 새로운 진실
최악의 과학 사기 사건 - 파올로 마키아리니의 인공 기관지 이식
놀랍도록 간단한 과학 사기 - 조작
얼마나 많은 논문이 철회되는가
측정 오차와 샘플링 오류
과학 사기가 어려울까, 진짜 연구가 어려울까
과학계에서 얼마나 많은 조작이 이뤄지는가
과학 사기꾼들의 프로필
무엇이 조작을 하게 만드는가
논문 조작의 파급 효과
과학 사기의 패착, 신뢰를 무너뜨리다
제4장_편향 - 실패한 실험 결과가 사라지다
확률과 p-값
출판 편향과 메타 분석
p-해킹
데이터 오버피팅과 결과 스위칭
이해충돌, 선한 의도 편향 - 과학의 사회정치적 성격
새뮤얼 모턴과 스티븐 제이 굴드의 반전
편향이라는 인간의 본성
제5장_부주의 - 통계에 감춰진 명백한 실수들
통계 불일치와 불가능한 계산값
모든 숫자에는 노이즈가 포함돼 있다 - 무작위화의 실패
오류를 알면서도 공유하는 환경
연구 설계의 기본 원칙 - 무작위화와 블라인딩
통계적 검정력
통계적 검정력이 후속 연구에 미치는 영향
낮은 통계적 검정력의 위험성 - 후보 유전자의 사례
과학의 역할에 관한 고찰
제6장_과장 - 그들의 언어를 알면 진실이 보인다
과장 보도 자료
대중 과학 서적의 함정
과장으로 넘치는 과학 저널
마이크로바이옴의 속사정
우리가 먹는 모든 것이 암과 관련이 있는가 - 영양학의 진실
예상치 못한 결과를 처리하는 방식
제3부_잃어버린 과학의 정신을 되찾는 길
제7장_비뚤어진 인센티브 - 논문 대량 생산의 시대
출판물과 연구 지원금과 고용 기준
살라미 슬라이싱 현상과 미끼 저널
h-지수와 자기 인용, 자기 표절
수단이 목표가 되면 길을 잃고 만다 - 굿하트의 법칙
나쁜 과학의 자연 선택
‘발표하지 않으면 사라진다’는 논문 발표 시스템
제8장_과학을 고치기 위한 시작
모든 연구에는 오류가 있다
재현 연구의 투고 - 통계적 유의성에 대해 편견 없이 판단하기
p-값을 없애면 모든 문제가 사라질까
다중 우주 분석의 보완 - 연구 사전 등록 제도
모두가 자유롭게 참여하는 과학 - 오픈 사이언스
저널 출판 시스템의 변화 - 사전 인쇄
건강한 과학 커뮤니티를 만드는 데 필요한 연구 성과 평가 제도
유레카에 대한 환상 - 학문은 원래 지루한 법이다
과학의 진짜 위기는 따로 있다 - 과학자와 회의주의자
에필로그_우리에게 필요한 것은 진리다
감사의 글
부록_학술 논문 읽는 법

상세 이미지

상세 이미지

저자 소개 (2명)

저 : 스튜어트 리치 (Stuart Ritche)
심리학자이자 과학 커뮤니케이터, 오픈 사이언스 운동의 열혈 지지자. 과학의 잘못된 관행을 개혁하고, 과학자들이 연구 결과를 발표할 때 더욱 투명해지도록 돕는 도구를 개발했다. 2015년에는 심리과학협회에서 ‘라이징 스타Rising Star 상’을 수상했다. 영국의 킹스칼리지런던King's College London의 사회, 유전 및 발달 정신과 센터에서 강의하고 있다. 에딘버러대학교에서 인간 지능에 대해 박사 후 과정을 밟았고, 인간 지능과 뇌가 어떤 관련이 있는지, 뇌가 유전의 영향을 받는지, 교육과 같은 외부 요인에 의해 뇌가 얼마나 향상될 수 있는지에 대해 연구한다. 구글 ... 심리학자이자 과학 커뮤니케이터, 오픈 사이언스 운동의 열혈 지지자. 과학의 잘못된 관행을 개혁하고, 과학자들이 연구 결과를 발표할 때 더욱 투명해지도록 돕는 도구를 개발했다. 2015년에는 심리과학협회에서 ‘라이징 스타Rising Star 상’을 수상했다. 영국의 킹스칼리지런던King's College London의 사회, 유전 및 발달 정신과 센터에서 강의하고 있다. 에딘버러대학교에서 인간 지능에 대해 박사 후 과정을 밟았고, 인간 지능과 뇌가 어떤 관련이 있는지, 뇌가 유전의 영향을 받는지, 교육과 같은 외부 요인에 의해 뇌가 얼마나 향상될 수 있는지에 대해 연구한다. 구글 학술검색에 등록된 그의 피인용 횟수는 7,327회에 달하고 h-지수는 41, i10 -지수는 78이다.
역 : 김종명
서울대학교 공업화학과를 졸업했고, 미국 신시내티대학교에서 재료공학 박사학위를 받았다. 다년간 연구소에서 근무했으며, 번역에이전시 엔터스코리아에서 번역가로 활동하고 있다. 옮긴 책으로는 《과학자도 모르는 위험한 과학기술》, 《ZOOM 거의 모든 것의 속도》, 《한 권으로 이해하는 수학의 세계》, 《전기차 첨단기술 교과서》, 《사이언스 픽션》, 《UX 심리학》 등이 있다. 서울대학교 공업화학과를 졸업했고, 미국 신시내티대학교에서 재료공학 박사학위를 받았다. 다년간 연구소에서 근무했으며, 번역에이전시 엔터스코리아에서 번역가로 활동하고 있다. 옮긴 책으로는 《과학자도 모르는 위험한 과학기술》, 《ZOOM 거의 모든 것의 속도》, 《한 권으로 이해하는 수학의 세계》, 《전기차 첨단기술 교과서》, 《사이언스 픽션》, 《UX 심리학》 등이 있다.

출판사 리뷰

“우리는 과학이라는 도구를 옳게 쓰고 있는가”
연구와 논문, 저널을 둘러싼 나쁜 과학의 현주소를 고발하다
2018년, 프랜시스 아널드 캘리포니아공대 교수는 생명체의 화학 반응에서 촉매 역할이 되는 효소 단백질의 인공 개량법을 개발한 공로로 노벨화학상을 받았다. 2년 뒤 그는 세계적인 과학 전문 학술지 〈사이언스〉에 실린 자신의 효소 관련 논문을 철회한다고 발표했다. 〈사이언스〉는 아널드 교수의 연구 결과가 재현되지 않을 뿐만 아니라 논문의 제1저자가 연구 노트의 일부를 누락했다는 것을 이유로 들었다. 다행스럽게도 그는 자신의 논문 철회를 인정하며 공개적으로 사과하는 메시지를 전달했다.
2012년 〈플로스 원(PLOS ONE)〉에 발표된 자료에 따르면, 1928년부터 2011년 사이에 철회된 논문이 4,449개에 이른다고 한다. 간단히 살펴보면 그중 의심스러운 데이터/해석이 42퍼센트, 데이터 조작 같은 연구 부정 행위에 따른 철회 비율이 20퍼센트에 달한다. 문제는 시간이 갈수록 각종 저널에 발표된 논문 중 철회되는 논문의 수가 증가하고 있다는 점이다.
이러한 추세를 반영하듯 논문 철회와 관련된 정보를 공개하고 각 과학자들의 논문 철회 횟수를 기준으로 순위를 발표하는 ‘리트랙션 워치(retraction watch)’라는 웹사이트도 등장해 과학계에 대한 자성의 목소리를 높이고 있다. 해당 사이트에서는 일종의 역 노벨상 후보를 발표하듯 논문 철회 횟수를 기준으로 순위를 발표한다. 놀랍게도 모든 철회 논문 중 25퍼센트가 단지 2퍼센트의 과학자들이 발표한 논문이라고 한다.
물론 ‘모든 숫자에는 노이즈가 포함돼 있다’는 자연의 법칙처럼 어떤 연구자든 논문이든 오류를 피할 수는 없다. 프라이밍 현상에 대한 실험(대니얼 카너먼), 파워 포즈 이론(에이미 커디), 스탠퍼드 감옥 실험(필립 짐바르도), 권위에 대한 복종 실험(스탠리 밀그램), 인공 기관지 이식에 관한 연구와 수술(파올로 마키아리니), 인간 배아 복제 실험(황우석), 만능줄기세포(오보카타 하루코) 등이 대표적이다.
대중 과학을 비롯해 최신 연구에 관심 있는 사람이라면 누구라도 알 만한 과학자들이 발표한 논문 중에도 실수나 과장된 자료들이 포함돼 학계를 혼란스럽게 만든 사례는 이제 너무나 흔한 일이다. 문제는 이러한 과학계의 현실을 어떻게 받아들이고 과학 연구를 검증하는 시스템이 지닌 단점을 어떻게 보완해나갈 것인가 하는 점이다. 바로 그런 질문과 함께 과학계의 현주소를 《사이언스 픽션》에서 만날 수 있다.

과학자에게 너무 당연해서 잊힌 명제
“재현되지 않으면 과학이 아니다!”
과학자는 세상 모든 현상에 대한 체계적 지식을 위해 연구한다. 그들은 자신의 연구에 대한 신뢰도와 검정력을 확보해주는 다양한 실험과 데이터를 토대로 결과를 도출해 논문을 쓴다. 해당 연구를 논문에 발표하려면 동료 평가 과정을 거쳐야 한다. 이때 동료 평가자들은 논문에 조작·편향·부주의한 실수·과장은 없는지, 연구에 등장하는 실험이 재현 가능한지(replicability) 등을 검증한다.
“우리 자신이 관찰한 것조차도 반복 관찰되거나 엄격한 테스트를 통과하기 전까지는 새로운 발견이라거나 과학적 관찰이라고 받아들여서는 안 된다.”
이렇게 과학철학자 칼 포퍼가 말했듯, 반복 재현되지 않는 실험 연구는 진정한 과학이라 할 수 없기 때문이다.
논문이 동료 평가를 통과하면 과학 전문 학술지 〈사이언스〉와 〈네이처〉를 비롯해 전 세계 수많은 학회에서 발행하는 저널의 편집자들이 저널에 논문을 실어 발표한다. 이후 논문은 또 다른 과학자들이 인용하는 횟수를 통해 다시 한번 과학적 지식으로서의 가치를 인정받는다. 대표적으로 구글 학술검색에서 과학자들의 논문을 검색해보면 h-지수(n번 인용된 적이 있는 논문을 n편 보유)로 해당 과학자의 연구 성과를 간접적으로 확인할 수 있다. 여기까지가 논문 한 편이 발표돼 과학적 지식으로 거듭나는 과정이다.

“수단이 목표가 되면 길을 잃고 만다”
살라미 슬라이싱, 미끼 저널, 자기 인용, 자기 표절이 만든 논문 대량 생산 시대
스튜어트 리치는 이러한 논문 발표 시스템이 곧 ‘과학이 사회적 구조물’이라는 특성을 드러낸다고 말한다. 과학자, 동료 평가자, 편집자, 그리고 조금 더 확장해 논문을 인용하려는 또 다른 과학자까지, 논문 한 편에 연결된 사람들에 의해 해당 논문은 신뢰할 만한 과학적 지식이라는 타이틀을 얻는다. 동시에 리치는 사회적 구조물이라는 특성이 단점으로 작용할 수도 있다고 지적한다.
논문 발표 횟수로 인센티브를 제공하는 학계의 관행과 과학자로서의 명성을 얻기 위해 나쁜 연구자들이 주도하는 살라미 슬라이싱(salami slicing), 즉 논문 대량 생산 현상이 대표적이다. 실제로 인간의 23쌍 염색체에 대한 분석 결과를 23개의 각각의 단일 논문으로 쪼개거나 항우울제의 효과를 연구한 후 인구 집단별로 실험군과 대조군만 살짝 바꿔 논문을 쪼개 발표한 사례들이 등장한다. 한 예로, 2018년에 심리학자 로버트 스턴버그가 자신이 편집장으로 있던 〈심리과학의 전망〉 저널에서 물러나기도 했다. 자신의 논문을 인용해 저널의 사설을 씀으로써 자신의 h-지수를 올렸다는 것이 이유다. 이에 스튜어트 리치는 “지표 자체가 목표가 되면 더 이상 좋은 지표로서의 기능을 상실한다”고 한 굿하트의 법칙이 과학계에서도 증명되고 있는 셈이라고 말한다.

“연금술과 미신의 도구에서 진실을 추구하는 학문으로 거듭나기까지”
조작, 편향성, 부주의, 과장으로 훼손되기 쉬운 과학의 가치를 지키는 법
리치는 《사이언스 픽션》에서 과학자들을 위한 도덕적 기준을 제시함과 동시에 기술적 기준도 함께 제시한다. 또한 그러한 기준을 충족시키지 못한 과학 논문과 과학자들의 사례를 책 전반에 걸쳐 소개한다. 과학자들이 갖춰야 할 기준으로서 1942년에 사회학자 로버트 머튼이 주창한 네 가지 머튼 규범(Mertonian Norms), 즉 보편주의(universalism), 사심 없음(disinterestedness), 공동체성(communality), 조직적 회의주의(organized scepticism)를 제시한다. 이를 풀어서 말하면 과학적 지식은 인종, 성별, 나이, 성적 취향, 소득, 사회적 배경, 국적 등에 따라 차별적으로 판단되거나 돈, 정치, 이념, 개인적 이해, 명성을 위해 좌우되어서는 안 되며, 과학자들은 모든 지식을 서로 공유하되 각자의 주장을 액면 그대로 받아들여서는 안 된다는 것이다.
한편 과학 연구에서 발생하는 오류, 즉 의도적 조작, 연구자의 편향, 단순한 부주의, 연구를 과장하는 심리에 의해 철회된 논문들의 사례들도 소개한다. 리치는 “왜 무(無)가 아니고 무언가가 있는 걸까?”라는 철학적 질문을 인용하며 ‘연구를 시작하면 항상 무언가를 발견해내는 현상’이 팽배한 과학계의 현실에 대해서도 문제를 제기한다. 대표적으로 가장 흔하게 사용하는 통계값 중 하나인 p-값과 ‘통계적 유의미성’이라는 표현을 예를 들며 과학 연구 과정과 결과가 연구자 개인에 의해 얼마나 좌우될 수 있는지를 설명한다.

성과를 포장해서 발표한 이 시대의 베스트셀러 목록
“과연 과학적으로 신뢰할 수 있는가?”
저자는 이 책에서 에이미 커디(《자존감은 어떻게 시작되는가》의 저자), 캐럴 드웩(《마인드셋》의 저자), 매슈 워커(《우리는 왜 잠을 자야 할까》의 저자), 존 바그(《우리가 모르는 사이에》의 저자) 등과 같은 대중 과학 베스트셀러 저자들이 실제 연구 성과를 과장해 발표하고 있는 현실을 꼬집는다. 정확성도 떨어지고 좋은 내용은 없다는 것이 그의 주장이다.
리치가 제시하는 대안 중 대표적인 몇 가지는, 연구 방법의 타당성이 보장되는 재현 연구를 전문으로 실어주는 〈플로스 원〉과 같은 ‘메가 저널’, 과학 연구 전 과정에 가능한 한 모두가 참여할 수 있는 ‘오픈 사이언스’ 연구, 연구의 가설을 미리 제출해 실험의 목적과 결과를 모두 알 수 있도록 하는 ‘연구 사전 등록 제도’ 등이다. 이러한 모든 과정의 목적은 결국 진리를 추구하는 과학이라는 도구의 가치를 되새기는 것이기도 하다.
그의 주장을 요약하면 과학 논문의 반복 재현 위기를 자초한 것은 과학자 자신들인 셈이다. 과학의 가치를 지켜야 할 사람은 다름 아닌 과학자 자신이다. 모든 연구에 오류가 있고, 모든 데이터에 노이즈가 있다고 하더라도 학자로서의 양심, 동료 평가라는 객관적 시스템을 거쳐 나쁜 과학, 나쁜 연구를 걸러낼 때 과학의 가치를 지켜낼 수 있다.

우리가 그동안 ‘사실’이라고 맹신했던 과학적 연구 결과에 대한 검증을 요구하는 이 책은 잘못된 연구와 논문에 대항할 수 있는 최소한의 무기가 되어줄 것이다.

종이책 회원 리뷰 (46건)

구매 사이언스 픽션
내용 평점5점   편집/디자인 평점5점 | YES마니아 : 플래티넘 스타블로거 : 블루스타 E****r | 2022.12.26

과학 분야에 대한 책도 읽고 공부하며, 과학 연구 과정과 그 과정에서 간과되는 오류의 가능성에 대해 더 알아보고 싶어 구입했습니다.
“재현되지 않으면 과학이 아니다!” 정말 당연한 명제이지만 일반인인 저도, 그리고 가끔씩은 연구자들조차도 눈 앞의 이득, 명성, 인지 편향 등과 같은 여러 이유들로 이 명제를 고의적으로 혹은 무의식적으로 무시하고 있다는 사실을 일깨워주는 책이었습니다.

이 리뷰가 도움이 되었나요? 접어보기
[사이언스 픽션], 스튜어트 리치
내용 평점4점   편집/디자인 평점3점 | YES마니아 : 로얄 w***i | 2022.06.03

  이 책도 <겨울서점>에서 소개된 책이다. 가설을 세우고 검증하는 분석을 하고 있다. 그런면에서 이 책에 대한 소개가 끌렸었던 것 같다. 사이언스에서 배제되어야만 할 것 같은 '픽션'이라는 단어와의 조합이 만들어 내는 이질적인 제목도 좋았다. 과학 속에 어떤 모순들이 들어 있을까, 궁금해 하며 책을 읽기 시작했다. 

 

  이 책에서 가장 문제시하는 과학의 문제점은 바로 '재현'이다. 재현되지 않는 가설의 검증이 버젓이 사회에 나와 진실인 것처럼 호도되는 현실을 비판하고 있다. 과학이란 뭔가 넘어설 수 없는 벽 혹은 진리 같은 것이라는 믿음에 금이 가게 만드는 것이 '재현'의 실패이다. 예를 들면, 1+1은 언제나 2여야 과학인 것이다. 누가 어떤 방법으로 연필 하나와 다른 연필 하나를 더했을 때 연필 2개 이외의 숫자가 만들어져서는 안되는 것이다. 그러면 1+1은 2가 아니게 되는 것이다. 이 책에서는 정말 많은 연구들이 그것도 다양한 분야에서 '재현'되지 않음을 이야기 한다. 그 숫자에 놀랐고, 그 위험성에 놀랐다.

 

  경제학을 공부하면서(사실 어느 학문을 공부하더라도) 석사 이상의 과정에 들어가게 되면, 좋든 싫든 논문들을 읽어야만 한다. 그리고 논문들을 replication 해보는 경우도 생긴다. 논문에 사용된 자료들을 가지고 똑같이 재현을 해보면서 방법론을 배우게 되고, 내가 분석하고자 하는 가설들에 그 방법론을 사용한다. 요즘은 데이터와 프로그램이 같이 제공되기도 하는데(국내보다는 외국 논문이 더 잘 제공되는 것 같다), 꼭 똑같이 재현되지 않는 경우도 있었다. 그런 경우에 나는 어떻게 행동을 했었던가. 내가 뭔가 프로그램을 잘못 돌렸던가, 아니면 데이터 처리 과정에서 실수를 했었다고 생각을 했었던 것 같다.

 

  논문들을 읽으면서 이 책에서 말하는 조작과 편향, 부주의, 과장에 대해서 비판적 과정없이 무조건 받아들였던 것은 아니다. 하지만 그런 생각에 앞서, 저널에 투고되어 출판까지 된 논문에 대한 신뢰 하에 나의 실수를 먼저 돌아보게 되었던 것 같다. 이 책에서 말하는 과학에의 신뢰는 이런 의미가 아니었을까. 그 신뢰에 조금은 더 비판적으로 바라보는 시각을 갖게 해 준 책이다. 아울러 현재 연구 진행 과정에서 발생하는 문제점들을 속속들이 파헤치고 있다. 문제점만을 제기하는 것이 아니라, 이러한 문제들이 해결될 수 있는 방안들도 함께 제시하고 있다. 저자는 진정으로 과학계가 변화되길 바라고 있다. 

 

  최근에 논문을 작성해야 할 일이 생겼다. 아니, 차일피일 미루고 있던 일을 더이상 미룰수 없게 된 시점에 이르렀다. 시작 전에 이 책을 만난 것은 다행일까. 나는 정말 이 책에서 말하는 문제점들에 하나도 걸리지 않고 연구를 진행할 수 있을까. 겁이 난다. 잘못된 가설 검정이 주는 피해 사례는 정말로 크고 무서웠다. 의학이나 과학쪽이 아닌 사회과학 연구니까, 하는 안일한 생각을 갖지 않을 수 있을까. 내가 하는 일과 작업에 의식의 전환이 필요한 시점인 것 같다.

이 리뷰가 도움이 되었나요? 접어보기
구매 재현되지 않으면 과학이 아니다
내용 평점5점   편집/디자인 평점5점 | YES마니아 : 로얄 b*****3 | 2022.04.26

나는 지질조사를 통해 자연의 역학적 상태를 평가하고 그 결과로 구조물 기초나 터널을 설계하는 일을 해왔다. 지질조사는 불균질(heterogeneous)한 자연의 일부분을 확인해 전체를 추정하는 표본조사이기 때문에 수많은 가설이 필요하고 가설을 입증해 나가는데 필연적으로 오류가 끼어들 수밖에 없다. 돌아보니 조사하는 동안 한정된 표본에서 얻은 데이터를 분석하는 과정에서 (의식하지 못한 채) 이런저런 방식으로 데이터를 오염시켰다. 애매한 데이터는 가설을 입증하는 자료로 사용하고 가설과 맞지 않는 것은 노이즈로 판단해 제거한 것이다. 그러다 보니 실제로 지반이나 사면을 굴착했을 때 추정치가 맞아 떨어진 적은 손에 꼽을 정도였다. 그럼에도 불구하고 나는 내 성과물에 오류는 있을망정 그것이 의도적인 것은 아니었다는 입장을 고수하고 있다. 그 말은 ‘의도적인 것이었을 지도 모른다는 불안’을 애써 외면하는 모습일지도 모른다. 그래서 <과학은 어떻게 추락하는가>라는 이 책의 부제가 여상히 보이지 않았다. 오류와 왜곡의 경계가 모호하기도 하고 그 끝은 추락일 수밖에 없으니 말이다.

 

책 뒤표지에는 <재현되지 않으면 과학이 아니다>라는, ‘과학자에게 너무 당연해서 잊힌 명제’가 실렸다. 저자는 과학자들의 연구결과가 널리 활용되지 못하는, 때로는 오히려 해악을 끼치는 원인을 재현성(replicability)과 반복성(reproducibility)이 확보되지 않았기 때문이라고 지적하면서 이 책을 시작한다. 논문과 동일한 주제를 동일한 데이터 세트로 분석해 같은 결과 얻는 것을 반복성이라고 하고 동일한 주제를 다른 데이터 세트로 분석해 같은 결과 얻는 것을 재현성이라고 하는데, 저자는 재현성은 고사하고 반복성마저 입증되지 않는 것은 연구 내용에 오류가 있던가 데이터에 손을 댔기 때문이라고 지적한다. 그리고 그 사례와 과학자들이 오류와 왜곡을 저지르는 배경을 파헤쳐 나간다. 그러면서 어떤 과학적 주장도 절대 액면 그대로 받아들여서는 안 되며, 모든 데이터와 그것을 얻는데 사용한 과학적 방법론이 옳은지에 대해 제대로 확인할 때까지는 결과에 대한 판단을 보류해야 한다고 말한다.

 

한정된 연구 환경에서 일어나는 ‘오류’와 의도적으로 연구결과를 ‘왜곡’하는 일은 전혀 다른 것처럼 들린다. 하지만 저자의 설명을 따라가다 보면 의도적으로 연구결과를 왜곡한 과학자마저도 처음부터 왜곡할 의도로 연구를 시작한 것은 아니고 어쩔 수 없이 그런 상황에 몰리는 경우가 대부분인 것을 알게 된다. 과학자 자신도 오류에서 왜곡으로 넘어가는 것을 제대로 의식하지 못할 만큼 그 경계가 모호하다는 말이다. 그래서 저자는 이해충돌에 좀 더 민감해지거나 제도적 장치를 보완하는 것으로 이런 문제를 개선해 나가야 한다고 주장한다.

 

비록 오류와 왜곡의 경계가 모호하기는 하지만 책을 읽다 보면 그런 문제의 출발점에는 늘 열악한 연구 환경이 자리 잡고 있는 것을 알게 된다. 그런데 과학자 대부분이 직면하고 있는 열악한 연구 환경을 개선한다는 것이 가능한 일인가? 그리고 왜곡을 막을 제도적 장치를 마련한다고 해서 이 문제가 해결될 것인가? 지난주에 읽은 <대통령의 숙제>에서 저자 한지원이 “법을 만들고 집행하는 전문가들은 100가지 법을 만들어도 200가지 편법을 찾아낼 수 있다”고 말하듯, 제도를 통해 추락한 과학의 신뢰를 회복해야 한다는 저자의 주장은 공허하기만 하다.

 

500여 쪽에 달하는 분량이 부담스럽기는 하지만 과학이 이렇게까지 추락하게 된 원인을 제거하기 위한 (공허하게 들리는) 제도적 장치를 설명하는 3부 <잃어버린 과학의 정신을 되찾는 길> 100여 쪽, 인용 출처를 밝힌 미주 150여 쪽을 건너뛰면 두세 시간이면 읽을 수 있다. 평소 과학에 관심이 있거나 논리적 사고에 익숙한 이들의 흥미를 끌만한 책이다. 담고 있는 내용도 묵직하다.

 

과학의 타락을 불러온 재현성의 위기

 

저자는 재현성의 위기가 과학을 타락을 불러왔다고 판단한다.

 

“2015년 3개의 주요 심리학 학술지에 게재된 논문 100편을 대상으로 반복 재현시험을 실시한 결과 39%만 재현에 성공했다. 2018년 세계 2대 종합과학저널인 <네이처>와 <사이언스>에 게재된 사회과학논문 21편 중 재현에 성공한 것은 62%였다. 다른 시험 결과의 재현 성공률은 77%, 54%, 38%로 나타났다. 반복 재현에 성공한 경우라고 해도 거의 모든 경우 효과를 과장하고 있었다. 2016년 <네이처> 설문조사 결과 응답한 과학자의 38%가 재현성에 ‘다소의 위기’가 있다고 대답했다. 다른 연구자의 연구결과를 재현하지 못한 경험이 있느냐는 설문에 대해 화학자의 90%, 생물학자의 80%, 물리학자ㆍ공학자ㆍ의학자의 70%가 그렇다고 응답했다. 심지어 자신의 연구 결과를 재현하는데 어려움을 겪었다고 응답한 경우는 이보다 약간 낮은 정도였다.”

 

저자는 재현성이 담보되지 않은 과학적 주장은 과학의 신뢰를 떨어뜨릴 뿐 아니라 생명을 위협하는 해악을 끼치기도 한다면서 그 예로 비윤리적인 행동에 대해 베껴 적는 실험이 끝나자 비누를 사고 싶어 하는 마음이 들 확률이 높아졌다는 ‘맥베스 현상’, 스트레스 받을 때 다리를 벌리고 엉덩이에 손을 얹는 자세를 취하면 심리적 호르몬적 자극을 통해 스스로 강해졌다고 느낄 뿐 아니라 베팅에서 더 높은 위험을 감수한다는 파워포즈(power posing), 좋은 사람이라 할지라도 나쁜 상황에 몰아넣으면 모든 것이 매우 빠른 속도로 나빠질 수 있다는 스탠퍼드 감옥실험(Stanford Prison Experiment) 결과를 들면서 이 모든 주장이 과학적으로 전혀 의미가 없다는 것이 밝혀졌다고 말한다. 심지어 심장마비 환자의 체온을 낮추면 회복될 가능성이 높아진다는 보고에 따라 오랫동안 이런 처치방법이 구급 가이드라인에 포함되었지만, 실제로는 그런 조치가 생존율을 높이기는커녕 이송 도중 두 번째 심장마비를 일으킬 가능성을 높인다는 사실이 확인되었다고 그 해악을 드러낸다. 또한 그동안 뇌졸중이 일어나면 가능한 환자를 빨리 움직이게 하는 게 최선이라고 받아들여졌지만 2015년 실시한 대규모 무작위 실험결과 이런 치료법이 오히려 증상을 악화시킨다는 것이 확인되었다고 예를 이어간다.

 

이런 오류는 처음부터 과학자들이 의도를 가지고 저지르는 것은 아니다. 저자는 그 예로 출판편향(publication bias)을 예로 든다. ‘책상서랍 문제’라고도 부르는 출판편향은 과학자들이 실패한 연구결과를 세상에 알리지 않고 책상 서랍에 숨긴다는 뜻인데, 이는 발표할 긍정적인 결과가 없다면 아무 것도 발표하지 않는다는 말이다. 저자는 이런 문제를 타개하기 위해 2014년 스탠퍼드 연구원들이 시작한 책상서랍 열기(unlocking the file-drawer) 프로젝트를 인용한다.

 

“그들은 2002-2012년 동안 정부 연구 프로그램에 지원한 저자들이 발표한 논문을 검토했는데, 그 결과 완료된 연구 중 저자들이 세운 가설을 입증한 경우는 41%에 지나지 않았고, 37%는 결과가 뒤섞여 나왔고, 22%는 가설이 틀렸다는 결과를 얻었다. 그러나 프로젝트 결과가 논문으로 발표된 것은 가설을 입증한 경우가 53%, 뒤섞인 경우가 37%, 가설이 틀린 경우가 9%로 나타났다. 프로젝트 결과 가설이 틀린 것으로 확인된 경우 중 65%는 아예 논문으로 작성되지도 않았다.”

 

문제는 과학자들이 그간 들인 노력 때문에 연구결과를 ‘책상서랍’에 넣어두기가 아깝다고 여기는 순간 일어난다. 다른 한쪽에서 데이터에 손을 대고 싶은 유혹이 슬며시 고개를 든다는 것이다. 그리고 많은 과학자들이 자신도 인지하지 못한 채 그런 행위를 하고 있고, 설령 그것을 인지한다고 해도 그것이 왜 잘못된 것인지 모른다는 게 더 큰 문제라고 지적한다.

 

저자는 이와 같은 경우에 연구결과를 책상서랍에 감추는 대신 거기서 뭔가 건질만한 게 있지 않은지 살피는 과학자들이 생긴다고 말한다. 코넬대학교 완싱크 교수는 뷔페에서 큰 접시를 쓸 경우 원래보다 훨씬 더 많이 먹게 된다는 주장을 펼쳤는데, 이후 그의 주장이 무너지자 그는 결과를 책상 서랍에 감추는 대신 연구원에게 그 중에서 유의미한 결과를 찾아내라고 요구했다. 가설을 세우고 결과를 확인하는 게 아니라 결과가 알려진 후 가설을 세운 것이다. 말하자면 권총을 무작위로 쏜 후 우연히 가까이 있는 총알구멍 주위에 과녁을 그려 넣은 ‘텍사스 저격수(Texas sharpshooter)’가 된 것이다.

 

저자는 또 다른 데이터 오류의 사례로 표본으로부터 얻은 데이터만 사용한 게 아니라 연구와 병행해 유의미한 결과를 얻을 때까지 표본을 계속 추가한 사례를 든다. 그 과정에서 일부 참가자를 자의적으로 제외하거나, 튀는 데이터를 제거하거나, 여러 번 측정한 결과 중에 신뢰도가 높은 결과만 채택하거나, 시험 대상자에게 물어본 질문 중 효과가 입증된 질문만 논문에 싣는다는 것이다. 나 역시 이런 경우가 많았다. 그러면서 그것을 데이터 검증이라는 말로 합리화했다. 그런데 나만 그런 것이 아니라 저자 역시 많은 과학자들이 이런 행위를 자신들의 연구결과를 좀 더 분명하게 만드는 과정이라고 믿는다고 말한다. 하지만 이 정도라면 이미 오류는 아니고 왜곡이라고 보는 게 맞지 않을까.

 

이와 같은 ‘텍사스 저격수’ 현상이나 연구과정에서 데이터를 추가하는 문제를 바로잡기 위해 2005년부터 국제의학저널 편집위원회는 인간을 대상으로 하는 모든 임상시험은 실시하기 전에 공개적으로 시험 목적과 계획을 등록하도록 규칙을 정했다.

 

저자는 이와 같은 의도적인 왜곡이 아니라도 부주의나 관심이 부족해 일어나는 오류 또한 치명적인 결과를 만든다고 지적한다. 실제로 오류의 상당 부분은 통계 분석 소프트웨어에서 나온 숫자를 복사해 논문 작성용 워드프로세서에 붙여 넣을 때 생긴다는 것이다. 저자는 유전학 논문에서 엑셀 스프레드시트가 SEP2나 MARCH1과 같은 유전자 이름을 날짜로 인식해 자동 수정해서 생긴 오류도 소개한다. 이 모두 나도 수없이 겪은 일이다. 이런 오류는 대부분 사소한 것이어서 결과에 별다른 영향을 미치지 않지만 그 중 13%에서는 해석을 완전히 바꿔야 하는 심각한 실수였다고 하니 오류라고 해서 가벼이 여길 일이 아니다.

 

오류가 왜곡을 거쳐 사기로까지 이어지는 배경

 

저자는 오류가 왜곡으로 이어지는 데는 열악한 연구 환경이 자리하고 있다고 말한다.

 

“학교에서는 대규모 연구자금을 구하기 어렵기 때문에 어떻게든 자신들이 가진 연구자금으로 견뎌야 하고, 그래서 충분하지 않은 표본에 의지해 연구할 수밖에 없다. 따라서 본격적인 연구를 위해서는 외부자금에 기댈 수밖에 없는데, 자금을 지원하는 단체에서는 지루하고 고달픈 연구보다는 화려하고 과시적인 발견을 선호한다. 언론이 과학자들의 연구결과를 잘못 전달하기도 하지만 그보다는 이런 이유로 과학자 스스로 과장된 정보를 제공하는 경우가 훨씬 많다.”

 

“과학자뿐만 아니라 과학자들이 따오는 연구지원금에 의지해 운영하는 대학에서는 연구지원금에 사활이 걸렸다 해도 과언이 아니다. 연구자들은 평균적으로 전체 일하는 시간의 8%, 연구하는 시간의 19%를 연구지원금 신청서를 작성하는데 쓴다는 연구도 있지만, 실제 비율은 그보다 훨씬 높을 것이다. 이미 풍부하게 연구지원금을 확보한 연구자들과 경쟁하기 위해서는 어떻게든 연구지원금 신청서를 과장하지 않으면 안 된다.”

 

이런 과정에서 오류는 왜곡으로, 왜곡은 논문 사기로까지 확대된다. 사실 논문 사기는 자신의 명성과 평판을 높이려는 과학자 스스로 저지르기도 하지만, 과학자의 명성이 필요한 대학이나 기관에서 의도적으로 묵인하거나 은폐해서 일어나기도 한다. 부끄럽게도 저자는 황우석 사태를 그 사례로 들고 있다. 그러면서 이런 일은 평범한 과학자라면 무시하거나 믿지 않을 이론이나 가설을 진지하게 생각하는 그들의 열정적인 믿음 때문에 일어난다고 말한다. 그들이 철석같이 믿었던 것이 사실이 아닌 것으로 드러나면 충격에 휩싸일 수밖에 없고 그 결과가 사기로 이어지는 것이지, 처음부터 거짓을 주장하려 한 것은 아니었다는 말이다.

 

수년간 우리를 괴롭혔던 코로나가 이제 희미하게나마 끝을 드러내기 시작했다. 하지만 아직도 백신 무용론, 더 나아가 백신 음모론을 주장하며 백신을 거부하는 사람들이 적지 않다. 의학박사인 친구 하나는 아직도 그 주장을 내세우며 백신 미접종자에게 가해지는 불편을 감수하고 있다. 누구보다 그런 주장이 갖는 허구를 잘 알 만한 사람이 그런 주장에 함몰되어 있는 것을 보면서 도대체 무엇이 그가 그런 확신을 갖게 만들었는지 궁금했다. 이 책을 읽으면서 그 일단을 접하게 되었다.

 

“1998년 영국 의사 웨이크필드는 홍역 백신이 자폐증과 관계가 있다는 이론을 주장했다. 백신을 맞은 후 인체에 남아있던 홍역 바이러스가 장과 뇌에 자폐증 관련 증상을 일으키는 원인 물질이 된다는 것이었다. 그는 자폐증 아동의 부모를 대리해 백신 제조업체를 고소하려는 변호사에게 상당한 보수를 받고 고용된 상태였다. 그가 연구를 위해 환자를 모집하는 과정에 해당 변호사와 연관된 백신 반대 단체가 관련되었다. 그는 연구결과 발표 1년 전에 홍역백신을 기피하는 이들을 겨냥한 단일홍역백신과 관련된 특허를 신청했다. 이와 같은 이해충돌 내용 중 어떤 것도 논문에 공개하지 않았다. 이 논문은 2004년 철회되고 웨이크필드는 영국에서 더 이상 의사로 활동할 수 없게 되었지만, 그는 그 후로도 미국 백신저항운동 분야에서 활동하며 명성을 날렸다. 그의 사기극은 사람들의 백신 공포에 불을 붙였고 어떤 바이러스보다 빨리 퍼졌다. 1990년대 후반까지 영국의 홍역백신 접종률은 이미 집단면역이 발현되는 데 필요한 95% 수준까지 도달해 있었다. 이후 접종률이 80%까지 곤두박질치고 홍역 발생률은 상승세로 돌아섰다. 전 유럽과 다른 지역에서 발병되기 시작하고 오랫동안 홍역이 없었던 나라에서도 발병하기 시작했다. 세계보건기구의 추정치에 따르면 2018년 한 해에만 홍역과 그에 따른 합병증으로 14만 명 이상이 사망한 것으로 나타났다.”

 

이는 저자가 이 책에서 말하고자 하는 주제와 거리가 있는 상당히 극단적인 사례이지만, 과학이 의도를 갖게 되었을 때 얼마나 치명적인 문제를 일으킬 수 있는지 경각심을 일깨우는 글이어서 인용한다.

이 리뷰가 도움이 되었나요? 접어보기
  •  종이책 상품상세 페이지에서 더 많은 리뷰를 확인하실 수 있습니다. 바로가기

한줄평 (0건)

0/50
맨위로