이 책에서 필자가 전하고자 하는 바는 두 가지다. 첫 번째는 AI 반도체가 갖춰야 할 특징이 무엇인가이다. 이를 통해 우리는 AI 반도체 산업 전반에 대해 이해하고, 시장을 올바르게 바라볼 수 있는 혜안을 갖출 수 있을 것이다. 두 번째는 과거 반도체 산업의 패러다임 전환이 어떤 방식으로 이뤄졌는지에 대한 부분이다. 과거를 통해 우리는 미래의 패러다임을 예측할 수 있다.
--- p.5

전 세계 반도체 시장에는 표준과 질서가 있다. 반도체 생태계는 매우 넓다. 반도체의 설계와 제조를 비롯해 소재, 장비 등이 기본이다. 반도체를 사용하는 PC, 서버, 모바일폰도 거대한 반도체 생태계의 일부다. 이 넓은 생태계의 주체들이 서로가 원하는 것을 얻기 위해서는 일정한 표준이 필요하다. 표준에 맞춰 각자의 영역에서 물건을 개발하고 이를 합쳐 최종 소비자들이 원하는 결과물을 내놓는다. 각자 만들지만 표준에 맞춰서 만들어야 조합을 할 수 있다. 표준에 맞지 않는 반도체를 만들면 성능이 뛰어나더라도 호환이 안된다.
--- p.24

대규모 연산을 요구하는 인공지능 서비스는 거대한 컴퓨팅 파워를 가진 데이터센터를 이용할 수밖에 없다. 그런 경우에는 애플이 제공하는 폐쇄적인 데이터센터에서 처리가 되며, 처리 즉시 삭제가 된다고 밝혔다. 데이터센터를 통해 인공지능 서비스를 제공할 때도 개인 맞춤형 서비스를 만들려면 개인정보가 필요하다. 그런데 소비자와의 접점이 되는 디바이스에서 개인정보를 통제하면 다른 업체들은 이 정보를 취득할 수가 없다. 애플, 삼성전자 같은 디바이스를 만드는 업체들은 아직 인공지능 시대에 두각을 나타내고 있지 않지만 이들의 동향에 많은 사람들이 촉각을 곤두세우고 있다. 결국 소비자와의 접점은 디바이스에서 이뤄지기 때문이다.
--- pp.54-55

인텔 인사이드 마케팅은 컴퓨터 산업의 주도권을 컴퓨터 제조사에서 CPU 제조사로 이동시켰다. 누가 만들어도 차별화가 되지 않는 PC는 껍데기일 뿐이고 실제 컴퓨터의 성능 차이는 인텔 CPU에 달려 있다는 인식이 형성됐다. 이에 반발한 컴팩은 ‘컴팩의 로고가 박힌 컴퓨터는 안에 뭐가 들어있는지 신경 쓰지 않아도 됩니다’라는 마케팅을 벌이기도 했다. 경쟁사의 반발에도 불구하고 인텔의 마케팅은 매우 성공적이었다. 2000년대 들어 인텔은 CPU 시장의 80% 이상을 점유하게 됐고 PC 제조사를 깡통 조립회사로 만들어버렸다. 이후 IBM은 PC 사업부를 중국 레노버에 매각하게 됐다. 인텔의 사례를 보면 역사는 천재의 압도적 재능으로 만들어지지 않는다는 것을 알 수 있다. 수많은 사람들의 아이디어와 이를 실현하는 노력, 이들에게 힘을 실어주는 경영자의 판단이 우연히 일치하는 지점에서 역사가 만들어진다.
--- p.101

인간의 행동은 다양하다. 그래서 예상했던 방식대로 돌아가지 않는다. 기계가 비합리적이어서가 아니라 인간이 비합리적이어서 인간을 닮은 기계를 만들기가 힘든 것이다. 이런 우스갯소리도 있다. 어느 사장님이 맥주집을 운영하는 인공지능 로봇을 만들려고 한다. 주문을 할 때 발생할 수 있는 다양한 상황을 염두에 두고 전문가 시스템으로 만들었다. 손님이 맥주 1잔을 달라고 했을 때, 2잔을 달라고 했을 때, 그럴 가능성은 거의 없지만 100잔을 달라고 할 때조차 완벽하게 대응할 수 있도록 설계를 했다. 드디어 인공지능 로봇이 주문을 받는 맥주집을 열었다. 첫 번째 손님이 와서 로봇에게 말을 걸었다. “화장실이 어디예요?” 예상치 못한 질문을 받은 로봇은 멈춰버렸다. 이처럼 전문가 시스템은 특정한 영역에서는 어느 정도 효과를 낼 수 있지만 인간과 소통하는 모든 상황을 염두에 두고 시스템을 만들어내는 데는 한계가 있다. 정확도가 매우 높진 않지만 단순한 방식이기 때문에 요즘도 다양한 분야에서 ‘전문가 시스템’ 방식의 인공지능을 활용하고 있다.
--- pp.144-145

공장과 가장 가까운 거리에 창고를 만들려면 공장 바로 옆에 창고를 만들면 된다. 공장이 코어, 창고가 메모리다. 공장의 제조 역량이 높아져서 더 좁은 공간에서 더 많은 제품을 제조할 수 있게 됐다. 가장자리가 짧아지면 바로 옆에 붙일 수 있는 창고의 넓이도 좁아진다. 창고의 용량이 부족해서 부품 조달이 안되면 공장이 놀게 된다. 공정 기술의 발전으로 연산기는 같은 크기에 혹은 더 작은 크기의 코어에 더 많은 회로를 넣을 수 있게 됐다. 코어 사이즈가 작아지면 가장 자리가 짧아져 메모리 패드를 붙일 공간도 좁아진다. 연산기는 빠른데 메모리 용량이 작아 데이터를 전송 속도가 느려져 연산기가 놀게 되는 상황이 된다. 메모리를 더 많이 붙이기 위해 연산기를 크게 설계해야 하는 비효율이 발생하는 것이다.
--- p.221

모델이 너무 커서 GPU 1대에 모델이 다 안 담기기에 모델을 쪼개서 학습을 한다는 개념은 이해하기 어렵지 않다. 모델과 데이터를 쪼개서 학습하면 전체 시간은 이론적으로 GPU의 개수가 증가하는 만큼 줄일 수 있다. 문제는 분산 학습을 한 뒤 쪼개진 연산들의 결과를 여러 GPU들로부터 모으고, 갱신된 가중치를 다시 GPU들에게 분배하는 데 많은 시간이 걸린다는 점이다. 지금까지 GPU 8장인 한 노드에서의 분산 학습을 이야기했다. 실제로는 여러 노드끼리도 각종 데이터와 정보들이 넘나들며 통신을 하게 되는 대규모 학습 시스템으로 이루어져 있다.
--- p.281

이에 네이버팀은 반도체에 대한 발상 자체를 바꿨다. AI 반도체는 아직 시작도 제대로 안 한 산업이다. 그래픽 처리에 사용하던 GPU의 연산 처리 방식이 AI 연산에 잘 맞아 GPU가 시장을 독점 하고 있지만 완벽하다고는 할 수 없다. 그래서 네이버팀은 진정한 의미에서 AI 연산에 최적화된 반도체를 만들어야 한다고 생각한 다. 그 말인 즉슨 AI 모델의 미래를 예측하고, AI 모델에 필요한 연 산들에 집중하여 최적화한 하드웨어를 기획해야 한다는 것이다.
인공지능은 막대한 행렬곱으로 이뤄지며, 불필요한 파라미터가 많이 존재하는 특유의 형태 때문에 압축을 해서 얻을 수 있는 연산 이득이 크다. 다만 기존 하드웨어 방식으로는 압축을 했을 때 하드웨어가 압축 방법과 어울리지 않는 경우가 많기 때문에 압축률만큼 이득을 볼 수가 없다. 그래서 경량화 알고리즘에 적합한 하드웨어를 새로 만들어야 한다.
--- p.332

반면 초거대언어모델의 성능을 평가하는 것은 쉬운 일이 아니기 때문에 모델 압축 결과의 평가가 어려워졌다. 정답이 있는 문제라면 정답률을 계산하면 되지만 생성형 AI는 정답이라는 것이 명확하지 않다. 생성형 AI의 시대가 되면서 성능 평가가 어렵다 보니 모델 압축으로 인해 모델의 정확도가 떨어진 것인지조차 확인하기 쉽지 않고, 얼마나 정확도가 떨어진 것인지 정량적으로 확인하기 어려울 때가 많다.
수학 문제를 얼마나 잘 풀었는지는 쉽게 점수를 매길 수 있지만 그림을 얼마나 잘 그렸는지는 점수를 매기기 힘든 것과 같다. 일반적으로 분류 문제를 푸는 벤치마크 모델(예를 들어 ImageNet Classification)은 1000장의 이미지 중에 몇 장의 정답을 맞췄는지가 확실하다. 하지만 말이나 이미지를 만들어 내는 생성 문제는 평가가 매우 어렵다. 객관식 문제는 OMR 카드로 자동 채점을 할 수 있지만 주관식 문제나 서술형 문제는 선생님이 하나하나 읽어보고 점수를 매겨야 한다.

<B>반도체 패러다임의 변화부터 미래를 주도할 핵심 기술까지<br/>한 권으로 끝내는 AI 반도체의 모든 것<br/><br/>넥스트 엔비디아, 미래의 게임 체인저를 찾아라!<br/>폭주하는 반도체 산업, 미래의 승자는 누가 될 것인가</B><br/><br/>전 세계 주식 시장에서 엔비디아 열풍이 무섭다. 5년 만에 35배의 주가 상승을 이룩하며 애플, 마이크로소프트와 함께 시가총액 3조 달러 클럽에 들어선 것이다. 엔비디아는 물론 HBM 메모리를 공급하는 SK하이닉스, 엔비디아의 AI 반도체를 제조하는 대만 기업 TSMC의 주가 역시 70% 가까이 상승하며 엔비디아와 함께하는 모든 생태계 기업의 주가가 천정부지로 치솟았다. 엔비디아가 각광받는 이유는 AI 산업에서 꼭 필요한 최적의 AI 반도체를 엔비디아가 생산하고 있기 때문이다. 엔비디아의 지위가 깨지지 않을 것이라 단정하는 사람들도 있다.<br/><br/>하지만 AI 반도체 패러다임의 변화는 이제 막 시작되었다. 이러한 시기에는 시장의 불확실성이 높아지고, 이전에는 주목받지 못한 기업들이 튀어나와 산업 전반을 변화시킬 가능성도 있다. 불확실한 시기일수록 우리는 AI 반도체에 대해 제대로 알아야 한다. 그래야 시장의 변화를 읽고, 미래의 부를 선점할 수 있다. 대중이 알고 있는 AI에 대한 지식은 아직 단편적이다. 이세돌을 이긴 알파고, 개인 비서처럼 일을 돕는 챗GPT, 그림을 생성하는 미드저니 등의 AI 프로그램은 극히 일부일 뿐, 진정한 변화는 시작되지 않았다. 우리는 이미 컴퓨터에서 인터넷으로, 인터넷에서 스마트폰까지의 변화를 모두 체험했다. 그리고 이러한 기술이 경제를 넘어 일상생활 전반을 바꾸는 힘도 목격했다. AI는 지금까지와는 차원이 다른 태풍을 몰고 올 것이다. 폭주하는 반도체 산업에서 길을 잃지 않고, 엔비디아 다음의 승자 기업을 찾고 싶은 이들에게 이 책은 AI 반도체에 대한 기초 상식부터 현직 실무자만 알고 있는 미래 시나리오를 전달하는 완벽한 가이드라인이 되어줄 것이다. <br/><br/><B>최초 공개, 네이버 AI 반도체팀의 미래 시나리오</B><br/><br/>AI 서비스를 구현하고, 반도체를 만드는 최전선 실무자가 집필한 현실 입문서다. 구독자 240만 경제 유튜브 「삼프로TV」의 취재 팀장이자 고급 지식을 초보자 눈높이로 알기 쉽게 전달해 온 권순우 기자가 이번에는 대한민국 AI 반도체의 미래를 이끌 네이버클라우드 팀과 뭉쳤다. 시중에 수많은 AI 반도체 책이 있지만 대부분 투자자, 기자가 집필하여 실무에서 통하는 진짜 지식을 얻기에는 한계가 있었다. 이 책의 공동 저자 이동수, 권세중, 유지원은 현재 네이버클라우드 AI 모델 팀에서 근무하며 엔비디아를 대항할 AI 서비스 및 반도체 개발에 힘쓰고 있다. 현직에서 일하는 실무자가, 그것도 AI 서비스와 반도체 모두를 개발하는 이들이 쓴 책은 국내 최초다. <br/><br/>반도체 기사 이면에 숨겨진 진짜 의미, 현직 실무자만 알고 있는 AI 반도체의 한계와 극복 방안, 네이버의 미래 시나리오까지 어디서도 찾아볼 수 없는 진짜 정보를 이 책에 담았다. 읽고 나면 그동안 외계어처럼 여겨졌던 AI 관련 기사가 읽히고, 그 속에 숨은 이면까지 찾는 새로운 눈을 얻을 수 있게 될 것이다. AI 반도체가 무엇인지 아는 사람과 모르는 사람의 격차는 먼 미래가 아니라 당장 몇 년 사이에 다가올 것이다. AI 반도체를 둘러싼 전 세계 국가와 기업의 패권 전쟁, 산업의 발전 방향을 소설처럼 흥미롭게 풀어낸 이 책은 미래를 살아갈 모두가 읽어야 할 필독서다.