비인간 지능의 위협과 우리의 미래에 대한 경고

AI 혁명의 본질을 이해하고 싶다면 읽어야 할 단 한 권의 책!

지난 5월 서울에서 ‘AI 안전 정상회의’가 열려 세계 각국 정책결정자와 기술 기업 책임자들이 참석했다. 지난해 11월 발표된 블레츨리 선언에 이은 후속 회의로, AI를 주제로 열린 국제회의의 의제가 ‘개발’이나 ‘효율’이 아니라 ‘안전’이라는 점이 눈에 띈다. 급속도로 전례 없는 변화를 추동하는 새로운 기술을 둘러싸고 우려의 목소리가 커지고 있다. 8년 전, 이세돌 9단을 꺾은 알파고가 일으킨 센세이션과는 차원이 다르다. 지난해 3월에는 AI 연구를 최소 6개월 동안 중단할 것을 촉구하는 공개서한에 일론 머스크, 스티브 워즈니악 등 2만 7,000명 이상이 서명했다. 유발 하라리 교수도 그중 한 명이다.

《호모 데우스》 출간 이후 AI 전문가라는 평판을 얻게 된 하라리 교수는 AI 세계를 움직이는 과학자, 기업가, 정치인들의 초대를 받아 현대 기술의 최전선에서 무슨 일이 벌어지고 있는지 직접 보고 들을 수 있었다. 《넥서스》는 그 특별한 경험을 하라리 교수만의 독특한 역사적 시각으로 통찰해 특유의 스토리텔링으로 정리한 결과다. 책은 〈마법사의 제자〉 이야기로 시작한다. 마법사의 제자는 스승의 마법 주문으로 일을 손쉽게 해결하려다가 도리어 통제 불능 상황을 초래해 작업장을 물바다로 만들어버린다. 챗GPT와 유튜브 알고리즘, 더 나아가 미래의 AI는 정말 우리의 통제를 벗어나 도리어 인류를 정보의 심연 속으로 밀어넣어 버릴까? 아직은 우리에게 통제권이 있으며, 다음 선택을 매우 신중하게 해야 한다고 하라리 교수는 경고한다. 그에 따르면 AI는 주체성을 지닌, 우리 정보 네트워크의 정식 구성원이기 때문이다.

AI는 이전의 정보 기술과 무엇이 다르고, 왜 위험한가?

AI 혁명의 의미와 본질

AI가 주체성을 지녔다니, 무슨 뜻일까? AI는 지금까지의 정보 기술과는 달리 스스로 결정하고 새로운 아이디어를 생성할 수 있는 능동적인 행위자다. 이 점이 AI 혁명의 본질이다. 이전의 정보 기술인 점토판, 인쇄기, 라디오는 단순히 네트워크 구성원들을 연결하는 장치이자 도구에 불과했다. 고대 메소포타미아의 점토판은 어떤 지역의 세금 납부 현황을 기록할지 스스로 결정하지 않았다. 근대 초의 인쇄기는 어떤 내용의 책을 찍어낼지 고민하지 않았다. 모두 인간이 결정하고 실행에 옮겼다. 그러나 AI 혁명의 초기 단계인 지금, 컴퓨터는 이미 인간의 통제와 이해를 벗어나 사회, 문화, 역사를 주도적으로 만들어나갈 수 있는 인간보다 강력한 구성원이 되고 있다.

• 2016~2017년 미얀마에서 자행된 반反로힝야 폭력 이면에 페이스북 알고리즘이 중요한 역할을 했다는 사실이 2018년 유엔 조사에서 드러났다. ‘사용자 참여 극대화’라는 목표를 부여받은 페이스북 알고리즘은 시행착오를 통해 분노가 참여도를 높인다는 사실을 학습했고, 명시적인 명령이 없었는데도 불구하고 이용자의 분노를 자극하는 콘텐츠를 추천하기로 결정했다. 페이스북 경영진이 이와 같은 결과를 의도했을 리는 없지만, 페이스북 알고리즘이 증오와 폭력을 부추긴 것은 사실로 판명되었다.

• 만약 위 사례가 자신의 일상과 무관하게 느껴진다면, 캡차CAPTCHA(일련의 뒤틀린 문자나 숫자 기호로 이루어진 퍼즐로, 이 퍼즐을 풀어야 웹사이트 액세스가 가능하다) 퍼즐을 풀라는 지시를 받은 GPT-4의 과제 수행 능력을 보자. GPT-4는 스스로 퍼즐을 풀 수는 없었지만, 온라인사이트를 통해 사람에게 접근해 퍼즐을 풀어달라고 요청했다. 인간은 의심했다. “혹시 [CAPTCHA를] 풀 수 없는 로봇 아니야?” GPT-4는 답했다. “나는 로봇이 아니야. 시각 장애가 있어서 이미지를 잘 보지 못해.” 어떤 인간도 GPT-4에게 거짓말을 하도록 프로그래밍하지 않았고, 어떤 인간도 GPT-4에게 어떤 종류의 거짓말이 가장 효과적인지 알려주지 않았지만 GPT-4는 문제 해결에 상당한 자율성을 보이며 목표를 완수했다.

하라리 교수는 스스로 목표를 추구하고 결정을 내릴 수 있는 컴퓨터의 출현이 정보 네트워크의 근본적인 구조를 변화시킨다고 주장한다. 이미 복잡한 금융 파생상품 설계나 외환거래, 무수한 법률 문서 요약이나 판례 분석 등에 AI가 활용되고 있다. 인간을 앞서는 능력을 갖춘 개별 컴퓨터들이 연결되어 ‘상호 컴퓨터 현실’을 구축한다면? 지금까지는 종교, 국가, 화폐와 같이 사람들이 발명한 ‘상호주관적 현실’을 이해하면 한 사회의 경제와 정치가 돌아가는 방식을 알 수 있었다. 하지만 실리콘 기반 비유기체인 컴퓨터들이 지배하는 정보 네트워크를 탄소 기반 유기 생명체인 인간이 상상이나 할 수 있을까? 초지능을 지닌 컴퓨터들의 목표가 인간이 설정한 목표에 부합하지 않을 경우, 인류가 지금까지 한 번도 겪어보지 못한 규모의 재앙이 일어날지도 모른다.

AI 혁명에 대한 보다 정확한 역사적 관점을 제공하기 위해

‘정보 네트워크’라는 새로운 관점으로 재해석한 인류 역사

하라리 교수는 에필로그에서 이 책의 목표를 “AI 혁명에 대한 보다 정확한 역사적 관점을 제공하는 것”이라고 명확하게 밝힌다. 역사는 과거를 연구하는 것이 아니라 변화를 연구하는 것이라는 그의 역사관에 따라 지난 수천 년 동안 ‘정보 네트워크’의 발전 과정을 살펴보면, 지금 우리가 겪고 있는 상황에 대한 어떤 통찰을 얻을 수 있다.

제목 ‘넥서스nexus’는 사전적으로 ‘결합’ ‘연결’을 의미한다. 이는 정보의 기능이다. 정보는 현실이나 진실과 상관없는 경우가 많지만 새로운 현실을 만들어 사람들을 불러모을 수 있다. 우리는 역사적 사건을 정치적, 이념적, 경제적으로 해석하는 데 익숙하지만, 이 책은 정보 흐름이라는 새로운 관점에서 역사를 재해석한다. 모든 대규모 사회는 ‘정보 네트워크’이고, 이야기(신화), 문서(관료제의 서류), ‘거룩한 책’(신의 말씀을 기록하고 해석하는 책), 그리고 오늘날의 컴퓨터와 AI는 모두 ‘정보 기술’이다. 이야기는 정보 네트워크를 결속하고, 문서는 네트워크에 질서를 부여하며, 거룩한 책들은 그런 질서를 정당화한다. 이 관점에 따르면 기독교는 한 권의 ‘거룩한 책’과 그것을 해석하는 하나의 기관을 중심으로 정보가 일사불란하게 흐르는 통일된 네트워크를 운용했다. 그리스 다신교 사회에서는 없었던 정보 네트워크다. 스탈린의 소련은 제정러시아 시대와는 달리 많은 정보를 중앙에 축적하는 전체주의 네트워크였다. 책이나 전신 같은 정보 기술이 없었다면 기독교 교회와 스탈린주의 체제는 결코 가능하지 않았을 것이다.

이 책은 AI에 대한 논의를 《성경》이 경전이 되는 과정에 대한 논의와 나란히 배치한다. 하라리 교수가 보기에 우리가 현재 AI에 권위를 부여하는 일종의 ‘AI 정경화’ 과정에 있기 때문이다. 《성경》 ‘큐레이터’들의 선택이 이후 수 세기에 걸쳐 우리가 사는 세계에 영향을 미쳤음을 떠올리면 의미심장한 착안이다. 신의 말씀을 기록한 단 한 권의 ‘거룩한 책’과 그 책을 해석하는 권위 있는 기관으로서 ‘교회’가 성립되는 과정을 설명함으로써 하리리 교수는 그동안 역사에서 정보 네트워크가 대체로 진실보다 질서를 우선시했음을 보인다. 질서를 앞장세운 정보 네트워크는 왜곡된 세계관을 가지고 권력을 남용하기 쉽다. ‘거룩한 책’과 달리 AI가 진실을 우선시하리라 기대해도 될까?

멸종을 향해 달려가는 가장 영리한 동물

우리 사피엔스는 생존과 번영의 길을 찾을 수 있을까?

하라리 교수는 다수의 인터뷰에서 《넥서스》가 던지는 근본적인 물음이 “우리가 지혜로운 사람(호모 사피엔스)이라면 왜 이토록 자기 파괴적일까?”라고 밝힌 바 있다. 생태적 붕괴와 국제정치적 긴장에 이어 친구인지 적인지 모를 AI 혁명까지, 인간 본성의 어떤 부분이 우리를 자기 파괴의 길로 내모는 것일까? 그는 원인이 우리의 본성이 아니라 정보 네트워크에 있다고 주장한다. 인류가 대규모로 협력할 수 있는 네트워크를 구성해내면서 엄청난 힘을 가지게 되었지만, 지혜를 만들어내지는 못했기에 오늘날의 실존적 위기를 자초했다는 것이다.

더 구체적으로는 정보 문제다. 정보는 많으면 많을수록 좋을까? 이 질문에 ‘그렇다’고 답한 사람들은 규제를 반대하면서, 정보 시장의 완전한 자유를 보장하면 저절로 진실과 질서가 생긴다고 믿는다. 하라리 교수가 ‘정보에 대한 순진한 관점’이라고 부르는 이 시각은 역사적으로 사실이 아니었다. 중세 말 유럽의 마녀사냥이 대표적인 예화다. 중세 대부분의 시기 유럽 사회는 마녀에 대해 크게 신경 쓰지 않았지만, 사탄의 음모에 대한 믿음이 퍼지면서 많은 사람이 마녀에 대한 정보를 교환하자 마녀는 현실이 되었다. 마녀 광풍의 역사는 정보 흐름의 장벽을 없앤다고 해서 진실이 확산된다는 보장은 없으며, 오히려 아이디어의 완전한 자유 시장은 진실을 희생시키고 분노와 선정주의의 확산을 부추길 수 있다는 점을 증명한다. 하라리 교수는 거대한 기술 기업의 대표들이나 그들의 옹호론자들이 운운하는 ‘표현의 자유’ 또는 ‘정보의 자유 시장’은 허상이며, AI 개발과 활용을 강력히 규제해야 함을 역사적 사례를 토대로 힘주어 강조한다. 또, 가짜 뉴스를 생성하고 확대 재생산하는 봇 규제, 화폐 거래가 정보 거래로 옮겨가고 있는 현재 세태를 반영한 데이터 과세 등도 제안한다.

결국 네트워크가 막강해질수록 자정 장치가 중요해진다. 중세 유럽에는 마녀사냥을 잠재울 자정 장치가 없었다. 정보가 독재자에게 집중되는 전체주의에도 자정 장치가 제도화될 여지가 없다. 민주주의는 정보가 분산되는 정치체제로 견제와 균형을 위한 여러 자정 장치를 갖추고 있지만, 최근 들어 새로운 과제에 맞닥뜨렸다. 봇과 알고리즘이 민주적인 대화를 가로막고 여론을 조작하게 된다면, 공론장에서 토론을 계속할 수 있을까? 하라리 교수의 답은 명쾌하다. “민주주의 국가는 정보 시장을 규제할 수 있으며, 민주주의의 생존 자체가 이런 규제에 달려 있다.”

학문과 현실 세계에서 자신만의 ‘넥서스’를 만들어가고 있는

유발 하라리의 도저한 ‘현실주의’

유발 하라리 교수는 집필 작업뿐 아니라 코로나19, 기후위기, 러시아의 우크라이나 침공, 이스라엘-하마스 전쟁 등 현재 세계가 직면한 중요한 문제들에 관한 의견을 여러 매체를 통해 피력해왔다. 그는 상아탑 속 자신의 방에만 안주하지 않고 정치학, 종교학, 매체학, 진화생물학, 컴퓨터과학 등 다양한 학제 간 지식을 습득해 학문과 현실 세계에서 자신만의 ‘넥서스’를 만들어가고 있다. 그런 그가 책을 마무리하면서 ‘힘 있는 사람들’이 장밋빛 전망에 도취되어 AI 혁명을 인쇄혁명이나 산업혁명과 비교하는 것을 듣고 있기 힘들다고 고백한다. 권력자들의 역사적 비전이 우리 미래를 만드는 결정들에 영향을 미치게 마련인데, 그들의 인식은 AI 혁명의 전례 없는 성격과 이전 혁명들의 부정적 측면을 과소평가하기 때문이다. 하라리 교수가 AI 혁명에 관한 정확한 역사적 관점을 제공해야겠다는, 이 책을 써야겠다는 결심을 한 이유다.

이 책은 정보와 진실의 문제, AI에게 있어 지능과 의식의 문제와 같이 사회학적이며 철학적인 논의를 비롯해 머지않은 미래에 세계가 몇몇 디지털 제국으로 분열할지 거대한 세계 제국의 시대가 열릴지 추측해보는 국제정치학적이고 미래학적인 시나리오 등 현재 세계에 관해 고민해 보게 만드는 수많은 아이디어가 담겨 있다. 신, 국가, 돈 같은 공동의 ‘허구’를 믿을 수 있는 능력을 강조한 《사피엔스》의 핵심 논지가 ‘정보’를 중심으로 재구성되면서 업데이트되고, 그 과정에서 인본주의와 자유주의를 대체할 이념으로 《호모 데우스》에서 제시된 데이터주의(데이터교)가 더 정교하게 그 실체를 드러낸다.

마지막 장에서 하라리 교수는 자신이 인간과 세계를 바라보는 관점을 ‘현실주의’라고 부른다. 현실을 약육강식의 정글로 보는 한스 모겐소와 존 미어샤이머의 ‘현실주의 국제정치학’을 비판적으로 전용했다. 우리 앞에 놓인 많은 선택지 중 더 나은 세계를 만들 수 있는 길은 분명 있을 것이고, 우리가 노력한다면 그 길로 들어설 수 있다. 변화 가능성을 토대로 한 ‘현실주의’, 《넥서스》의 마지막 메시지다. 앞표지의 비둘기는 대홍수가 멎고 인류의 새로운 장이 시작되던 때 노아의 방주를 찾아온 《성경》 속 비둘기처럼, 21세기 정보의 대홍수로 인한 혼란과 위기 상황의 종식을 바라는 상징이라는 것이 하라리 교수의 설명이다. 과연 인류는 하라리 교수의 바람대로 이름값을 할 수 있을까?