2023.09.14. 아라이 노리코의 '대학에 가는 AI vs 교과서를 못 읽는 아이들(해냄)'을 읽고

1. 실현되려 하는 현실적인 미래 사회

내가 요즘 로봇이나 생성형 인공지능, 혹은 알고리즘에 관한 책을 많이 읽는 이유는 교육 현장에 있어서 아이들에게 미래 사회에 대한 정확한 정보를 알려주고 싶어서이다. 다가올 미래 사회에서 학생들에게 나는 무엇을 가르쳐야 할 것인지에 대한 해답과 학생들에게 제시할 비전과 방향성을 공부하기 위해서 책을 읽는다. 또한 로봇이나 인공지능과 같은 책은 올해가 지나면 더 나오지 않을 것이다. 지금 아니면 읽을 수 없을 것 같다는 위기감으로 읽기도 한다. 2016년 스위스 다보스 경제 포럼에서 나온 '4차 산업혁명'에 관한 책은 그해부터 2017년까지 서점가에 줄기차게 나왔지만 그 이후부터 보기 어려웠다. 책도 시대를 따라 유행을 탄다. 올해 안에 관련 책들을 부지런히 읽어두고 싶었다.

미래 사회 책들을 읽으면서 시작 단계에서는 미래 사회에 발맞추어 도태되지 말아야겠다는 의지를 불태우지만 정리 단계에서는 늘 좌절하는 나를 발견하게 된다. 나는 정말 능력이 없는 인간이었구나, 나는 그동안 무엇을 하고 살았나라는 생각과 함께, 그 미래 사회에 내가 없어서, 내가 현시대 사람이라서 천만다행이라고 한숨짓다가도, 그럼 내 아이는 어떡하지라는 생각에 갑갑해졌다.

이 책은 이러한 나의 부담부터 덜어주었다. 수학자이자, 2011년 인공지능 프로젝트 ＜로봇은 도쿄 대학에 들어갈 수 있는가?＞의 총괄 담당자였던 아라이 노리코는 아주 단호하게 아직은 그런 일이 없을 것이라고 말한다.

2. 낭만적인 질문. 과연 특이점은 올 것인가 

특이점 Singularity은 수학이나 AI 전문가가 아닌 사람들이 모여 논의할 때 'AI가 인간의 능력을 초월하는 시점'을 의미한다. 이에 대해 아라이 노리코는 특이점의 정확한 용어는 Technological Singularity로서 '기술적 특이점'으로 번역한다고 하였다. 진정한 의미에서의 AI가 자율적으로 인간의 힘을 전혀 빌리지 않고 자신보다 능력이 뛰어난 진정한 의미에서의 AI를 만들어낼 수 있게 되는 시점(32쪽)을 말한다. 교수는 수학자로서 특이점은 오지 않는다고 단언하였다. 진정한 의미에서의 AI가 인간과 동등한 지능을 얻으려면 우리의 뇌가 의식·무의식을 불문하고 인식하고 있는 것들을 전부 계산 가능한 수식으로 치환할 수 있어야 하는데, 현재 수학에서는 불가능하기 때문이라고 하였다.

특이점 Singularity이 나와 나 아이의 세대에 오지 않는다는 것은 감사한 일이다. 시간을 번 셈이다. 이제 그렇다면 찬찬히 준비해야 하지 않을까? 계산기에 불과한 AI로 대체되지 않기 위해서 우리는 무엇을 준비해야 하는 것일까 

3. 도로보군은 왜 도쿄 대학에 들어갈 수 없는가 

2011년부터 도쿄 대학 합격을 목표로 열심히 공부해 온 도로보군은 '2016년 신켄 모의시험 6월 종합 학력 마크 모의시험'에서 편차치 57.1을 달성하였다. 5교과 8과목의 편차치가 57.1이라는 것은 일본 769개 대학 중 70퍼센트에 해당하는 대학에 합격할 확률이 80퍼센트가 넘는다는 뜻이다. 수학1의 경우 편차치 57.8, 수학2는 55.5였다. 도쿄 대학의 2차 시험을 가정한 사전 입시에서 수학(이과 계열)은 편차치 76.2로 수학만 놓고 보면 도쿄 대학 의학부도 합격할 수 있는 성적이었다.

그러나 영어의 편차치 50.5, 국어(일본어) 편차치 49.7로 편차치 50 부근에서 멈췄다. 처음 도전할 때 영어가 41.0, 국어(일본어)가 45.9에 비해 성장한 것은 사실이지만, 도쿄 대학에 도전하기에는 부족한 점수이다. 도쿄 대학에 합격하려면 편차치 77 이상에 속해야 하는데, 활용 가능한 지적 자원과 최첨단 수식 처리 등을 최대한 동원했을 때 도로보군의 실력은 편차치 50대 후반이었다는 것이다. 아라이 노리코 교수는 도로보군이 운이 좋다면 편차치 60까지 달성할 수 있지만 65를 넘기기는 불가능하다고 판단했다. 왜일까 

도로보군에게 슈퍼컴퓨터는 필요 없었다. 슈퍼컴퓨터의 능력만 향상된다면 AI가 인간의 지능을 넘어설 것이라고 전망하는 말들을 단호하게 아니라고 설명하고 있다. 1초 동안의 연산 처리 횟수가 많다고 머리가 좋은 것은 아니기 때문이다. 인공지능이 딥러닝을 통해 지능이 좋아진다는 해석은 수학을 모르는 사람이 하는 이야기라고 설명했다.

빅데이터 역시 도로보군의 도쿄 대학 합격에 도움이 되지 않았다. 국어(일본어)와 영어 성적을 높이기 위해 150억 문장을 암기시킨다 하더라도 도로보군은, 특히 영어의 경우 찍기로 문제를 풀어야 했다. 기본적으로 우리가 알고 있는 상식을 AI는 이해하지 못하며, 문장 안에 담긴(그것이 국어(일본어)든 영어든) 의미를 AI는 전혀 이해하지 못했다. 엄청난 교사 데이터에 따라 정답에 다가갈 확률만 높일 뿐인데, 이것은 수학처럼 문제를 정확하게 푸는 것이 아니라 마치 연필 굴리기와 같이 찍기의 확률과 같다고 할 수 있었다.

수학자인 아라이 노리코 교수는 AI는 컴퓨터이고, 컴퓨터는 결국 계산기라고 말했다. 우리에게 무엇이든 척척 알려주는 스마트폰 역시, 우리가 던지는 질문의 의미를 이해하여 답을 주는 것이 아니라 인간이 입력한 값에 반응한 '답'이 출력되는 것뿐이라는 것이다.

금융기관의 콜센터나 의료 기관의 질병 진단을 하는 AI도 결국은 수학의 통계와 확률을 사용하여 적중률을 높이는 단순한 구조 속에 있는 것이다. AI의 진단 정확도가 인간을 능가한다고 하여 사람보다 기계에게 진단을 맡긴다는 것은 사람들이 하는 가장 잘못된 생각이라고 꼬집으며 저자는 AI에게 목숨이 걸린 진단을 맡기지 않을 것이라고 하였다. 이 점은 알고리즘의 문제에 대해 쓴 책 '안녕, 인간'의 저자 해나 프라이도 같은 생각이었다. 다시 말해 확률과정을 통해 우리의 AI는 그림도 그리고, 진단도 하고, 작곡도 하는 등 인간이 하는 영역을 침범하고 있지만 인간과의 차이를 최소화할 뿐인 것이다. 구조가 아무리 복잡해지고 지금보다 훨씬 우수한 딥러닝 소프트웨어를 탑재한다고 하여도 결국 AI는 컴퓨터인 것이다. 할 줄 아는 것이고 계산뿐이다. 진정한 의미에서의 AI가 인간과 동등한 지능을 얻으려면 우리의 뇌가 의식, 무의식을 불문하고 인식하고 있는 것들을 전부 계산 가능한 수식으로 치환해야 하는데, 현재 수학 수준으로 인간의 인식 전부를 논리, 통계, 확률로 환원하기는 불가능(167쪽) 하기 때문이다. 즉, 이러한 확률과 통계 속에서는 '의미'를 관측할 수 없다. 따라서 우리에게 필요한 것은 '의미'가 된다.

4. '의미'를 이해하는 인재를 키우는 교육

아라이 노리코 교수는 인공지능 도로보군 프로젝트를 지휘하면서 도로보군을 도쿄 대학 입학 편차치의 궤도에 올리기 위해 많은 노력을 했다. 엄청난 수의 수학자와 대학원생 AI 인공지능 연구원 등등 많은 인재들이 프로젝트에 참여하는 과정에서 겪은 시행착오와 실패, 성공을 통해 AI와의 경쟁에서 살아남을 수 있는 교육이 무엇인가에 대해 생각하게 되었다고 했다. 도로보군은 문제의 '의미'를 이해하지 못하면서 오로지 수학적 통계와 확률 계산만으로 상위 20퍼센트의 성적을 기록했다. 도로보군은 결국 도쿄 대학에 합격하지는 못했지만 메이지, 아오야마 가쿠인, 릿쿄, 주오, 호세이 대학(MARCH) 급의 중상위권 대학에는 무난히 합격할 수 있었다. 일본 대학 진학 희망자의 상위 20퍼센트에 해당하는 수준이다. 바꿔 말하면, AI의 등장으로 AI가 대체할 수 없는 인간만이 할 수 있는 유형의 지적 노동에 종사할 수 있는 사람은 전체의 20퍼센트에 불과할 것이라고 추론할 수 있다.

따라서 '의미'를 모르는 AI가 도래하는 시대에서 교육이 지향해야 하는 것은 결국 인간 고유의 독해력과 유연성, 판단력을 키우는 일인 것이다. 아라이 노리코 교수는 일본에서 학생들의 문해력을 판단하는 RST(문해력 능력 평가)를 고안하여 스스로 테스트를 희망하거나 평가를 허락한 학교에서 여러 연구를 진행하였다. 그 결과는 참혹했다. 중학생 세 명 중 한 명이 간단한 문장을 이해하지 못했는데, 이는 찍기와 비슷한 확률이었다.(이는 비단 일본만의 문제가 아닐 것이다.)

의존 구조와 조응과 같은 문제는 충분한 교사 데이터가 있다면 딥러닝을 통해 AI도 정답을 많이 맞힐 수 있었다. AI가 맞히기 어려운 것은 동의문 판정, 추론, 이미지 동정, 구체 예 동정(사전), 구체 예 동정(수학) 질문이었는데, 일본 학생들의 정답률은 찍기와 같은 확률보다 낮았다.

이를 바탕으로 아라이 노리코 교수는 AI와 공존하는 사회에서 AI가 하지 못하는 능력을 길러야 한다고 재차 강조하며 학생들이 중학교를 졸업하기 전까지 교과서를 읽고 이해할 수 있도록 만들어야 한다고 설명했다. 독해 능력과 의욕만 있으면 어지간한 것은 세상에 넘쳐나는 정보와 유수 대학들의 비대면 강의를 통해 언제 어디서라도 스스로 공부할 수 있기 때문이다.

5. 제일 궁금한 것!, 그렇다면, '독해력'은 어떻게 높일 수 있을까.

저자는 일본의 2만 5,000명을 대상으로 실시한 RST를 통해 독해력이 높게 나온 상위 20퍼센트 학생을 바탕으로 여러 가지 사실들을 정리하여 밝혀놓았다. 그중 현재 한국의 교육 현장에서도 의미 있게 읽힐 수 있는 사실이 있었다.

1) 독해 능력치와 진학할 수 있는 고등학교의 편차치는 상관관계가 매우 높다.

2) 학원에 다니는지의 여부와 독해 능력치 간에는 상관관계가 없다.

3) 독서를 좋아하는지 싫어하는지, 해당 과목에 자신이 있는지 없는지, 하루 동안 스마트폰을 몇 시간이나 사용하는지, 하루에 몇 시간을 공부하는지 등에 대한 자기 보고 내용과 기초 독해력 간에는 상관관계가 없다.

연구를 통해 밝혀진 여러 사실들 중 이 세 가지는 교사인 나에게, 엄마인 나에게 시사하는 바가 컸다.

그렇다면 나는 무엇을, 어떻게 가르쳐야 할 것인가.

아라이 노리코 교수도 독해력 향상을 위한 처방전이 간단하지 않으며, 상관관계를 밝혀야 할 것들이 더 많다고 앞으로의 논의를 남겨 두었다. 이 책을 읽으면서 독해력 향상의 답을 얻고자 했던 나는 아쉬운 마음이 들었다. 하지만, 해나 프라이의 '안녕, 인간'처럼 알고리즘과 인공지능을 끊임없이 의심하고 생각하라는 말보다, 염규현 기자의 '로봇 시대 살아남기'처럼 그냥 포기해야 하는 미래가 아닌 것이 좋았다. 미약하겠지만, 나의 교육적 방향성을 잡을 수 있었다.

독해력이 없다면 교육계에서 주장하는 소통하는 학습법으로의 변화(일본에는 '액티브 러닝'이라고 하였다.)나 일본 경제계에서 주장하는 중·고등학교 컴퓨터 프로그램 교육 실시는 탁상공론일 뿐이라는 아라이 노리코 교수의 생각에 동의한다.

우리나라의 교육대학교, 사범대학교 교수와 현직 교사의 서문에서 독해력을 위해 학생 활동 위주의 학습법이 주목받아야 한다고 말한 부분에 대해서는 의문을 갖고 있다. 초등학생들이 별빛이 지금의 빛이 아니라 수만 년 전에 반짝인 빛이라는 것을 알고 태양빛에 대해 의문을 제기하면서 다수 학생들의 토론을 통해 태양빛은 지금 빛나는 빛이라는 결론에 도달했다는 것처럼, 독해력 없는 교실 현장에서 소통 중심의 교수 방법이 독해력을 높일 수 있을지에 대해서는 회의감이 든다. 강의식, 주입식 교육에서 벗어나야 한다는 것에서는 나 역시 뜻을 같이 하지만, 쌍방향 중심, 학습자 중심의 교수 학습이 독해력을 향상시킬 수 있는지는 잘 모르겠다.

6. '의미'를 이해하는 인재가 AI가 하지 못하는 일을 할 수 있다.

한국에서도 최근 2~3년 코딩 교육 열풍이 불었고, 스마트 기기를 활용한 한글 깨우치기, 영어 배우기는 교육 출판업계를 바탕으로 성행 중이다. 그러나 교수의 말처럼 컴퓨터 프로그래밍이나 코딩 교육보다는 삼각함수와 미적분, 행렬 교육이 우선시 되어야 한다. 이 세 가지 지식 없이는 기계 학습도, 강화 학습도, 시뮬레이션도 없다. 그렇다면 AI와 공존하는 시대에 살아남기(?), 도태되지 않기 위한 방법이 보이기 시작한다. 아라이 노리코가 일본 교육 시스템을 향해(이는 한국 교육도 마찬가지이다.) 일본 수학자 후지와라 마사히코의 말을 인용하여 자신의 생각을 밝힌 점이 인상적이다.

“과거에 수학자 후지와라 마사히코는 학교 교육에 무엇이 필요한가라는 질문을 받자 "첫째로 국어, 둘째로 국어, 셋째와 넷째는 없고 다섯째로 산수"라고 답했다. ＜중략＞ 나는 "첫째로 독해, 둘째로 독해, 셋째와 넷째는 놀이, 다섯째로 산수"라고 말하고 싶다.”

- 아라이 노리코, '대학에 가는 AI VS 교과서를 못 읽는 아이들 243쪽

저자 아라이 노리코 교수는 2030년을 위해 '교육을 위한 과학 연구소'를 설립하고 2018년부터 중·고등학생에게 RST 제공하고 있다. 유료판을 만들어 보급하면서 중·고등학생의 독해력을 진단하는 시스템을 구축하고 이를 바탕으로 학생들이 대학에 입학하여 수업에 따라갈 수 있도록 하며 기업이 필요로 하는 충분한 독해력을 지닌 인재를 양성하는 것이 목표한다고 하였다. 왜 학생들이 교과서를 읽는데 어려움을 겪는지, 어떻게 하면 학생들이 교과서를 읽게 될지를 고민하는 저자의 모습에서 일본의 또 다른 미래를 보게 되었다.

나도 나만의 독해력 테스트를 만들어 보아야겠다는 생각이 들었다. 나는 아이에게 책을 읽어줄 때 방금 읽은 문장에서 유추할 수 있는 것을 아이에게 질문을 던지는 편이다. 이 문제를 모아두면 어떨까 하는 생각이 들었다. 그리고 학교에서는 비문학 지문을 통해 추론할 수 있는 것, 그래프나 도표에 담긴 정보를 찾아내는 학습지를 만들어야겠다고 생각했다.

하나하나 만들어가다 보면 독해력을 신장시킬 수 있는 방법을 깨우칠 지혜를 얻을 수 있지 않을까. 미래 사회 책을 읽고 오랜만에 절망하지 않고 책을 마지막 페이지를 덮었다. 이 책은 그것만으로도 나에게 가치가 있다.

#아라이노리코 #대학에가는AI_교과서를못읽는아이들 #해냄

#대학에_가는_AI_VS_교과서를_못_읽는_아이들

#AI와특이점 #의미를이해하지못하는AI

#도로보군은_왜_도쿄_대학에_들어갈_수_없는가

#독해력_충격적인결과 #독해력 #독해력이_부족한_아이들에게_닥쳐올_미래

#RST #독해능력테스트 #양극화되는화이트칼라

#유연성 #판단력 #교육의방향성

#책리뷰 #서평쓰기

 이 책은 고등학교 수업 시간에 읽었던 책이다. 감히 내 인생 책이라고 자부한다. 깔끔한 구성과 차분한 문체, 담담하게 현실을 밝혀내는 통계의 조화는 아름답다 못해 경이로웠다. 주제가 신선하고, 실무자가 작성한 글이기에 더욱 신뢰가 갔다. -작가는 책에 등장하는 도보로 군을 만들었다.- AI 기술의 최전방에 있는 이가 본 현실은 어떠했을까.

 2016년에 알파고의 등장으로 인간은 거대한 대격변의 시대를 실감하게 되었다. 고지능, 고성능의 AI는 인간이 따라올 수 없는 학습 능력이 있기에, 인간은 AI의 속도를 따라잡을 수 없게 되었다. 사람들은 이를 보고 경악했다. ‘설마 이 정도일 줄은 몰랐는데.’라는, 어쩌면 신(新)기술을 접한 사람들처럼 당혹스러운 반응을 보였다. 나도 마찬가지였다.

 그때부터 AI 기술은 4차 산업 혁명의 일환이 되었다. 언론에서도 AI에 주목하기 시작했다. 그로부터 7년이 지난 지금, AI 기술은 더욱 발전했다. novel AI나 ChatGPT를 보면 더욱 그러하다. 학습된 데이터를 기반으로 그림을 그리거나 문장을 작성한다. 어쩌면, 나름의 새로운 창작물을 제시했다고 보아도 무방할 터이다. 사람들은 열광했고, 언론에서도 이를 주요하게 이를 다루고 있다.

 그러나, 책의 저자는 AI 낙관론은 경계해야 한다. AI는 단순히 소프트웨이기에, 인간의 지적 활동을 모두 수식으로 표현하는데 성공하지 못한다면 AI가 인간을 대신할 수 없다고 말한다.(20페이지 인용) 이와 동시에, 그는 AI가 대체하지 못하는 새로운 노동 수요가 탄생하여 잉여 노동력을 흡수하고 생산력이 향상되어 경제가 성장할 것이라고 주장하는 이들에게도 일침을 가한다. 그는 “현 시점에서 일본인의 노동력은 그간 실력을 키워온 AI의 노동력과 질적으로 매우 비슷하다.”(22페이지 인용)라고 밝히며, 새로운 일자리가 탄생하더라도 AI에 떠밀릴 수 있음을 경계하고 있다.

 그가 말하고 싶은 바는 간단하다. AI가 등장하더라도 얻을 수 있는 문해력을 갖추는 것. 문해력이 만사형통(萬事亨通)은 아니지만, 필요한 것임은 분명하다. 그러나 작가가 파악한 일본의 현실은 변화가 없는 나날이었다. 기초적인 교과서의 문장을 스스로 읽을 수 없는 학생들이 많았으며, 언론사 기자나 관료마저 문장을 잘못 이해하기도 했다.

 작가는 일본의 현실을 가지고 이야기했지만, 우리나라의 현실도 마냥 녹록하지는 않다. 문장을 읽고 쓸 줄 아는 사람은 많아졌지만, 문장의 속 의미(내포하는 의미)를 알지 못하는 이들이 늘어나고 있다. 특히, 단어의 의미를 알지 못한다거나 같은 단어의 다중 의미를 한 가지 의미로 한정하는 일도 잦다. '기적소리'의 의미를 정확하게 알지 못한다거나, '머리에 서리가 내렸다'는 표현의 맥락을 이해하지 못하는 등 말이다.

 사실, 나 역시도 이 책을 읽으면서 반성했다. 나는 문장의 의미를 얼마나 정확하게 알고 읽고 있는지 알지 못했다. 아는 단어에 기반하여 과잉 추론을 하거나, 필자의 의도를 낚아채지 못하는 일도 많았다. 하지만, 이 책을 읽고 그런 경향은 줄어들었다. 단어 하나하나의 의미에만 집착하거나, 맥락을 보지 않는 등의 일은 일어나지 않고 있다. 문장은 함께 모여 하나의 목적을 만들어 내니 말이다.

일본의 한 교수가 도로보군이라는 AI로봇을 만들어 대학입시 시험에 합격시키는 프로젝트를 담은 책이다. 커즈와일이 AI의 능력이 인간을 넘어서는 순간을 특이점이라고 표현했는데 그 특이점을 넘어서기 위한 한걸음을 시도해봤다고나 할까. 그런데 내용은 예상밖이었다. 한계는 있었지만 성과또한 분명했고 언젠가는 성공할 것이다라고 희망적인 메시지로 끝맺는 것이 아니라 인간이 만든 AI이기에 머신러닝이나 딥러닝도 한계가 있으며 대학입시 문제의 경우 다양한 요소를 고려해야하기에 불가능할 것이라고 단언하고 있었기 때문.

사람은 기본적인 지각을 갖춘 어린아이어도 강아지와 고양이 사진을 직관적으로 구분할 수 있지만 기계는 그렇지 못하다. 아무리 많은 데이터를 넣어도 통계적인 한계가 있기 때문인데 지금도 각종 사이트에 신규가입하거나 비밀번호를 잊은 사람들이 다양한 이미지테스트를 통해 이 데이터를 구축하는데 일조하고 있지만 인간만큼의 정확성을 갖는 판단력을 갖추기는 저자의 판단으로는 요원한 일이라는 것이다. 딥러닝을 벗어난, 그러니까 통계학적인 방법론을 벗어난 전혀다른 방식의 직관을 터득하기 위한 방법론이 개발, 적용되면 모를까.

후반부에서는 저자가 다양한 분야의 사람들과 협력하여 만든 AI가 대학입시 시험문제를 풀어본 데이터와 더불어 일본(우리나라도 비슷할 것이다.) 학생들의 문해력에 대한 문제를 담고 있었다. 도로보군은 도쿄대 입시에는 통과하지 못했지만 일반적인 대학에는 합격할 수 있을 정도의 문제 풀이 능력을 갖추는데는 어느정도 성공했다. 다만 문제풀이 방식이 사람과는 전혀 달랐는데 문제의 의미를 이해했다기 보다는 문제와 보기에 실린 키워드를 바탕으로 사실 판단 여부를 확률게임으로 분석해서 최적의 보기를 골라내는 방식이었다. 당연하게도 사람은 절대 따라할 수 없는 방식. (그러고보니 이 도로보가 문제풀때 인터넷이 연결되어 있는 상태였으려나? 만약 그렇다면 형평성 문제도 있을 듯.)

아무튼 이렇게 배워나가는 AI가 인간의 일자리를 점차 위협해오고 있다는게 더이상 먼일이 아니게된 요즘,(최근 국내 소설로도 번역되어 출간된 한자와 나오키도 더이상 존재하기 어려울 것이라 말한다. 대출담당자가 AI로 바뀔것이기 때문에. 또 팬데믹 때문에 언택트 기조와 더불어 더 가속화 될 가능성도 높다.), 인간은 다른 차원에서 그 존재가치를 찾아야 할 필요가 있다. 그런데 저자는 테스트 결과 학생들이 반복적 문제풀이에 익숙해져 있어 문제 자체를 제대로 이해하지 못하는 경우가 많아지고 있어 문제라고 지적하고 있는데 이는 반복적 문제풀이를 통한 기계적 학습, 즉 진도에 맞춘 반복연습을 제공하는 AI를 활용하는 학습이 이렇게 만들었다며 우려하는 부분이 일리가 있는 것 같으면서도 내게 생각할 거리를 던져주기도 했다.

출간된지 일본기준으로 2년 반정도, 우리나라 기준으로 2년 가까이 되었지만 그간 드라마틱한 변화는 없었고 그 사이 우리나라에서도 비슷한 주제를 다룬 책이 몇권 나오긴 했지만 (이지성씨의 에이트나 안상헌씨의 새로운 공부가 온다 등) 충분히 일독할만한 가치가 있었던 책.