AI의 미래를 만드는 사람들이 남긴 동시대의 기록

AGI를 만들 수 있는가? 만든다면 어떻게? 그다음은?

우리는 거대 언어 모델을 어떻게 만들었을까? 그것들은 (정말로) 생각하는 걸까? 인간만큼 똑똑한, 혹은 그보다 더 똑똑한 AI가 수십억 개 존재하게 된다면 세상은 어떤 모습일까?

앤스로픽 CEO 다리오 아모데이, 딥마인드 공동 창업자 데미스 하사비스, 오픈AI 공동 창업자 일리야 수츠케버, MIRI 공동 창업자 엘리에저 유드카우스키, 메타 CEO 마크 저커버그 등 AI 연구자와 기업 창업자들을 심층 인터뷰한 내용을 바탕으로, 드와르케시 파텔은 우리 세계를 바꾸고 있는 기술에 대한 최초의 포괄적이면서도 동시대적인 초상을 제시한다.

[목 차]

머리말
사전 지식

1장 스케일링 | 왜 클수록 좋은가?
2장 이밸 | LLM은 무엇을 할 수 있나? 우리는 어떻게 알 수 있나?
3장 내부 | 모델 안에서는 무슨 일이 벌어지고 있나?
4장 안전 | 당신보다 똑똑한 무언가를 어떻게 통제할 수 있는가? 왜 그래야 하나?
5장 투입 | AGI의 비용은 얼마일까? 누가 그 돈을 가장 먼저 쓸까?
6장 영향 | 지금 무슨 일이 일어나고 있는가? 조만간 무슨 일이 일어날 것인가?
7장 폭발 | 지능이 더 나은 지능을 만들면 어떻게 될까?
8장 타임라인 | 언제 AGI를 얻게 될까?
결론

출연자 소개
에세이
쓰디쓴 교훈, 리처드 서턴
스케일링 가설, 그웬 브랜웬
스케일링은 작동할 것인가, 드와르케시 파텔
트랜스포머의 폭넓은 성공에 대하여, 노스탤지브레이스트
용어 해설
주
참고 문헌

감사의 글
저자 소개
이 책에 대하여
『스케일링 시대』 한국어판 해제, 한운희
『스케일링 시대』 인물 요약표

[본 문]

P. 362
『스케일링 시대』 한국어판 해제 - 한운희
『스케일링 시대』는 처음부터 밀도가 높은 책이다. 긴 소개 없이 논쟁 한가운데로 독자를 데려간다. 인터뷰 참여자와 에세이 필자까지 스물두 명이 저마다의 언어로 빠르게 논의를 밀고 나간다. AI의 흐름을 꾸준히 따라온 사람에게는 그 속도감이 매력이다. 그러나 이 담론을 처음 접하는 사람에게는 꽤 가파르고 복잡하게 느껴질 수 있다. ···  

P. 365
『스케일링 시대』는 외부인의 르포나 분석서가 아니다. AI 중심부에 있는 실제 플레이어들이 자신의 언어로 이야기하고 설명하고 논쟁한 기록물이다.

P. 33
드와르케시 파텔
근본적으로 스케일링이 왜 통하는지 어떻게 설명할 수 있나? 충분히 넓은 데이터 분포에 커다란 연산량 덩어리를 던지면 그놈이 똑똑해지는 이유는 무엇인가?

다리오 아모데이(앤스로픽 최고경영자)
실은 우리도 아직 모른다. 거의 전적으로 우연한 경험적 사실에 가깝다. 데이터에서 감지할 수 있는 사실이기는 하지만 만족스러운 설명은 여전히 얻지 못했다.  

P. 53
데미스 하사비스(구글 딥마인드 공동 창업자이자 최고 경영자)
우리는 스케일링을 있는 힘껏 밀어붙여야 한다. 벽에 부딪힐지는 닥쳐봐야 아는 문제다. 아무도 모른다. 그동안 더욱 혁신에 몰두해야 한다. 우리가 한 노력 중에서 스케일링과 관계된 것은 절반에 불과하다. 나머지 절반은 다음번에 필요할 아키텍처와 알고리즘에 대한 투자여야 한다. 점점 크게 스케일링된 모델이 등장할 것이기 때문이다. 나라면 둘 다 필요하다는 쪽에 판돈을 걸겠다.  

P. 34~35
드와르케시 파텔
스케일링은 모델이 나아지는 주된 방법이다. 왜 효과가 있나? 어째서 애초에 이런 식인가?

재러드 캐플런(앤스로픽 공동 창업자)
스케일링은 우리가 발견한 관계다. 매개변수 개수를 늘리거나 더 많은 데이터로 훈련시키거나 훈련에 쓰는 총연산량을 증가시켜 AI 시스템을 더 크게 만들수록 규모에 따라 시스템 성능이 어떻게 변하는지 예측할 수 있는 추세가 나타난다.
자릿수가 어마어마하게 커져도 마찬가지다.  

P. 117
4장에서는 AI가 가하는 피해의 위험을 탐구한다. 아무도 의도하지 않은 오류인 사고, 인간 사용자의 악의적 행위인 오용, AI가 인간의 의도에 반하여 행동하는 오정렬 등으로 범주화할 수 있겠다. 아울러 위험을 줄이려는 현재와 미래의 시도들도 살펴본다.

P. 82
드와르케시 파텔
인간 수준 AI에 도달하거나 넘어섰을 때를 어떻게 측정하는가? 당신이 언급했듯 다른 벤치마크를 쓸 수도 있고 다른 종류의 특성도 있다. 구체적으로 모델이 무엇을 해야 '좋았어. 이제 인간 수준이야'라고 말할 수 있나? 마인크래프트에서 모든 것을 깨야 하나? MMLU에서 100퍼센트를 받아야 하나?

셰인 레그(구글 딥마인드 공동 창업자이자 AGI 수석 과학자)
어떤 시험도 그럴 수 없다. 그게 일반 지능의 속성이기 때문이다. 저마다 다른 일을 여러 가지 할 수 있고 간극이 없으면 일반 지능에 도달했다고 확신해야 할 것이다.
몇 가지 매우 인상적인 범주의 일들을 인간 수준이나 심지어 그 이상으로 해낼 수 있는 시스템은 이미 있다. 나는 매우 포괄적이라고 느낄 만한 시험들을 총집합하고 싶다.  

P. 121
조 칼스미스(오픈 필랜스로피 선임 연구 분석가)
AI가 우리와 매우 다른 가치를 품고, 이미 매우 똑똑해서 돌아가는 상황을 알고, 그렇기에 우리의 훈련과 적대적 관계에 놓이는 상황이 결코 찾아오지 않길 바란다. 그런 상황을 피할 수 있으리라 생각한다. ··· 훈련이 모델에 주입하는 약물 같다고 말하기는 망설여진다. AI, 심지어 인간보다 다소 똑똑한 AI를 훈련시키는 여러 도구와 방안이 있다는 데는 대체로 동의한다. 하지만 정렬*에 필요한 만큼의 노력을 실제로 투입해야 한다.

*정렬Alignment: AI 시스템이 스스로의 목적을 추구하다가 해를 초래하지 않도록 하는 데 집중하는 AI의 하위 연구 분야. 의도된 정렬intent-aligned모델은 언제나 사람이나 집단이 의도한 목표를 달성하려고 노력하며 그들의 가치를 반영한다.  

P. 149
몇 년 사이 칩이 부족해지자 대부분의 내부자들은 GPU, 특히 몇백 배 빠르게 실행되도록 설계된 대형 AI 가속기 그래픽카드에 주목했다. 하지만 이 책을 쓰는 지금의 제약 요인은 다음번의 스케일업된 훈련 회차에 필요한 중앙 전력망이다. 이 때문에 업계의 최대 플레이어들은 AI 데이터센터 전용 신규 발전소 수백 기를 건설하는 방안을 모색하고 있다.  

P. 160
칼 슐먼(오픈 필랜스로피 외부 자문)
결국에는 인간 노동을 자동화할 수 있는지가 관건이다. 현재 경제 규모는 100조 달러인데 그 대부분이 임금으로 지급된다. 연간 50조~70조 달러 수준이다. AGI를 만들어내면 인간 노동을 모조리 자동화할 것이고 그 너머까지 확대될 것이다. 그러므로 완결된 프로젝트의 가치는 경제 전체를 쏟아부을 만하다. 인류에게 재앙적 파국을 일으키지 않는 훌륭한 버전의 모델을 얻는다면 말이지만.  

P. 185~186
딜런 파텔(세미애널리시스 수석 분석가)
AGI가 곧 무한한 인적 자원이라면 이론상 AGI의 투자 수익도 무한하다. 내가 마크 저커버그나 사티아 나델라라면 무한대의 수익을 얻을 것이다. 그곳에 맨 처음 도착한다면 말이다. 그러지 못하면 패배자가 되어 별다른 수익을 거두지 못할 것이다. ··· 모델이 향상되지 않는 순간 모든 게 수포로 돌아가겠지만 향상이 계속된다면 아랍에미리트나 사우디아라비아 왕자가 순자산 100억 달러를 AI에 쏟아붓지 않을 이유가 있겠나?  

P. 188
딜런 파텔(세미애널리시스 수석 분석가)
닷컴 버블 때의 투자 수준에 근접하지도 않았다. AI 버블이 크면 안 될 이유가 어디 있나? PC, 반도체, 메카트로닉스(mecha-tronics, 기계공학mechanics과 전자공학electronics의 합성어로, 두 기술을 응용해 어떤 목적에 적합한 시스템을 구성하는 기술-옮긴이) 같은 과거의 거품을 생각해 보라. 왜 AI 거품이 더 커지면 안 되나?  

P. 196
조 칼스미스(오픈 필랜스로피 선임 연구 분석가)
우리는 인류의 지속적 권력 우위가 사실상 AI의 의도에 좌우되는 시점에 도달했다. AI의 선택에 휘둘리는 이 취약성이 우려스럽다. AI는 우리가 계속해서 자신들에게 권력을 행사하도록 할까, 아니면 다른 선택을 내릴까?

P. 219
재러드 캐플런(앤스로픽 공동 창업자)
전반적 인간 수준의 지능 폭발을 한 기업이 좌지우지하게 해서는 안 된다는 데 전적으로 동의한다. 그보다 덜 강력한 시스템조차도 안 된다. 국가적·국제적 대화가 필요하다.
우리에게 시간이 많지는 않는 듯하다. 하지만 일정한 능력 수준을 넘어서는 시스템(이를테면 테러리스트의 생물무기를 훨씬 효과적으로 만들어줄 정도의 시스템)에 대해서는 어떻게 배포하고 어떻게 이용하고 누가 접근할지를 제약해야 한다.  

P. 221~222
드와르케시 파텔
AGI 이후의 미래가 어떤 모습일지 이야기해 보자.

일리야 수츠케버(세이프 슈퍼인텔리전스 공동 창업자)
AGI 이후 내가 무엇을 할 것이고 남들이 무엇을 할 것인가는 매우 까다로운 질문이다. 사람들은 어디서 의미를 찾을까? 하지만 AI가 도와줄 수 있는 질문이기도 하다. 나는 우리가 AGI와 상호작용하기 때문에 더 현명해질 수 있으리라 상상한다. AI는 우리가 AI와 상호작용함으로써 세상을 더 정확하게 보고 내면이 더 나아지도록 도와줄 것이다. 역사상 최고의 명상 스승과 대화한다고 상상해 보라.  

P. 230
레오폴드 아셴브레너(시추에이셔널 어웨어니스 공동 창업자)
AGI가 개발되면 아름답고 탈중앙화된 세상이 열리고 코딩 커뮤니티가 신나게 협력하리라는 생각은 착각이다. ··· 우리는 역사상 가장 강력한 무기에 대해 이야기하고 있다. 그렇다면 당신은 사기업 최고 경영자가 자애로운 독재자가 되는 데 극단적 내기를 거는 셈이다.

P. 238
드와르케시 파텔
오용이 일어나지 않고 '올바른' 사람들이 인간을 뛰어넘는 모델을 보유한다면 어떻게 되나? 누가 올바른 사람들인가? 지금부터 5년 뒤에 누가 모델을 통제하게 되나?

다리오 아모데이(앤스로픽 최고경영자)
솔직히 말하자면 아직도 알아내는 중이다. 이것저것 시도하고 덜 강력한 버전의 기술로 실험해야 한다. 늦지 않게 알아내야 한다. 하지만 미리 알 수 있는 종류의 문제는 아니다. 

드와르케시는 정상급 AI 연구원 및 엔지니어들과 함께 훌륭한 인터뷰 시리즈를 진행해 왔습니다. 이 책은 사람들이 현대 AI 모델이 어떻게 구축되는지, 앞으로 어떤 방향으로 나아갈 것인지, 그리고 왜 중요한지를 이해하는 데 도움을 주고자 그 인터뷰의 핵심을 훌륭하게 압축해 낸 결과물입니다.
_ 제프 딘 (구글 딥마인드, 구글 리서치 수석 과학자)

이 책은 천문학적인 비용과 연산량을 쏟아부으며 한계를 돌파해 낸 주역들의 날 것 그대로를 생생히 증언합니다. 완성된 결과물만으로는 결코 파악할 수 없는 이 치열한 맥락을 이해할 때 비로소 기술이 향하는 다음 궤적을 명확히 가늠할 수 있습니다. AI 발전 이면에 담긴 철학을 꿰뚫고 다가올 변화의 흐름을 읽어내려는 모든 이에게 이 책은 가장 예리하고 확실한 시야를 열어줄 것입니다.
_ 박찬성 (국가인공지능전략위원회 분과위원 · 한국전자통신연구원 선임연구원)

『스케일링 시대』는 기술의 성과들을 비교하기보다는, AI의 프런티어에 선 주요 인물들의 생생한 목소리를 가공 없이 엮어냈습니다. 하나의 정답이나 깔끔하게 정돈된 결론을 내리지 않는 이 책의 불완전함이, 역설적으로 아직도 우리에게 남겨진 과제인 AI 생태계의 복잡성과 예측 불가능한 미래를 가장 정확하게 투영합니다.
_ 조남호 (삼성SDS AI 에반젤리스트 · 『생존을 위한 최소한의 AI 교양』 저자)

2019년부터 2025년까지는 트랜스포머 아키텍처를 기반으로 발전한 가장 혁명적인 AI 시대였다. 이 시대를 이해하는 것이 제일 중요하다. AI 기술과 산업의 포괄적인 지식과 이해가 필요하다면 이 책을 읽어봐야 한다. 그리고 여기 등장하는 사람들이 누구이고 어떤 생각을 갖고 있는지를 알게 되면 현재 AI 분야가 어디로 가고 있는지, 우리가 맞이할 미래는 어떤 모습이 될지 알게 될 것이다.
_ 한상기 (테크프론티어 대표 · 『AGI의 시대』 · 『AI 전쟁 2.0』 저자)