[목 차]
  

감사의 말

서문_ 토지 수탈에서 데이터 수탈로

1장_ 새로운 식민주의의 탄생

식민주의 없는 자본주의는 없다

데이터에 의해 일어나는 식민지 폭력

AI에 숨겨진 식민주의의 뿌리

데이터 식민주의의 집요함

일방적인 피해자가 될 필요는 없다

2장_ 데이터가 넘쳐 흐르는 땅

이 세상이 데이터 영토로 변할 때

새로운 데이터 관계는 새로운 권력관계로

데이터, AI, 환경

데이터 수탈은 당신 바로 옆에서 일어난다

데이터 영토와 업무 환경의 변화

세계적인 불평등이 재현되다

3장_ 데이터의 새로운 문명화 임무

벌거벗은 임금님의 ‘문명화’라는 새 옷

문명화의 논리 1 : 데이터를 주면 편해질 수 있어

문명화의 논리 2 : 우리는 모두 연결되어야 해

문명화의 논리 3 : AI가 인간보다 더 나으니까

우리가 문명화의 논리에 넘어가는 이유

4장_ 새로운 식민지 특권층

이 세상을 데이터로 바꾸는 자들

빅데이터를 수확하는 자들

더 다양해진 식민지 특권층

알고리즘의 나라 만들기

데이터의 고독한 탐험가들

우리가 바로 소비자다

5장_ 저항의 목소리

식민주의의 목격자들

식민주의 없이는 현대 사회도 없다

초기 컴퓨터 시대로부터 온 경고

다가올 싸움을 상상하다

저항하기 위해 필요한 것들

6장_ 저항하기 위한 전략

아무도 막을 수 없는 저항이 시작되다

데이터 사용 방식을 뿌리부터 바꿔라

저항하기 위해 어떤 전략이 필요할까?

1단계 : 시스템의 안에서 저항하기

2단계 : 시스템에 맞서서 저항하기

3단계 : 시스템을 넘어서 저항하기

결론_ 만약 우리가 저항하지 않는다면?

[본 문]
  

인터넷 검색부터 클라우드 서비스, 생성형 AI까지 구글은 우리에게 사용료를 부과할 필요가 없다. 왜냐면 우리가 그 제품들의 원재료이기 때문이다. 대중이 도구들을 무료로 사용하게 한다고 해서, 캐나다 출신 작가이자 활동가인 나오미 클라인(Naomi Klein)의 말처럼 데이터 수탈의 본질과 규모를 숨길 수는 없다.

어두운 구석에 숨든 아니든 모두 광범위한 표절 행위다. 우리의 집단 활동, 시공을 아우른 상호 간의 소통, 공유 자원을 강탈해서 데이터를 통해 현금화하는 행위다. 생성형 AI의 ‘쿨한’ 요소는 기본적으로 여기서 눈을 돌리게 하는 장치일 뿐이다.

--- 27p

식민지의 확장과 관리는 글로벌 기업들(일종의 빅테크)이 맡았다. 이들은 이익 창출을 위해 식민지를 정치, 군사, 문화적으로 종속시키고자 지식과 기술을 발전시킬 과학자들과 기술자들(거대과학) 수백 명을 고용했다. 그러기 위해 식민지에 있는 엄청난 양의 정보(빅데이터)를 수집하고 분석해야 했고, 이것은 식민지를 운영하기 위한 주요 자산이 되었다. 식민자들이 수집한 많은 정보는 원주민들의 감시와 통제에 이용되었다(빅 브라더). 이것이 정치적 관리로 확장되어 집단을 분리하는 안전 울타리, 지속적인 감시를 위한 원형 교도소, 원시적인 형태의 다양한 생체 데이터 수집 같은 수단이 만들어졌다. 모두 유럽 도시에서 시행되기 전 식민지에서 흔하게 벌어진 일이었다.

--- 65p

애플과 구글 같은 막강한 업체들은 광고사들이 의존하는 쿠키 기반 추적을 불법화하기 시작했다. 마치 이타적이고 개인 정보를 보호하려는 조치 같지만, 애플과 구글의 목적은 자사의 광고와 광고 관련 데이터의 가치를 높이려는 것이다. 광고사들이 아이폰 이용자들에게 확실히 동의를 얻어야 추적할 수 있게 된 지 1년 후, 애플이 디지털 광고 인력을 두 배 늘린다고 발표한 것은 우연이 아닐 것이다. 페이스북이 오래된 수익 모델인데도 동의 없는 추적을 방지하는 조치를 취한 것에 감동해서, 마치 감시 자본주의가 끝난 것처럼 보는 견해도 있다. 하지만 실제로 데이터 식민주의는 타깃 광고보다 더 많은 곳에서 작동한다.

--- 104p

인체 데이터를 수집하더라도 추적기를 인체에 부착할 필요는 없다. 작업자가 다루는 기계나 차량에 장착하기만 하면 충분하다. 운행 과정을 기록하여 사주에게 보고하는 기기를 트럭 운전석에 장착하면서 트럭 운전 방식이 완전히 달라졌다. 이제 미국의 모든 트럭에 전자 운행 기록계(ELD) 장착은 필수다. 트럭에 이런 기기를 설치하는 것만으로도 권력관계에 큰 변화가 생긴다. 미국 사회학자 카렌 레비(Karen Levy)의 지적처럼, 지금까지 트럭 기사는 도로를 주행하면서 겪은 경험담을 늘어놓는 이야기꾼이었지만 이제는 회사 데이터베이스의 정보원 신세가 되었다. 이것은 운전자의 자존감에 큰 영향을 미쳤다. 정기적으로 상담을 받는 한 운전자는 이렇게 표현했다. “어린애 취급을 당하면서 일하지요. 언제 자고 깰지 스스로 판단 못하는 아이 말입니다.”

레비의 보고서에 따르면, 트럭 업체들은 트럭에 장착한 기기 말고도 다른 곳에서 데이터를 얻는다. 운전자의 SNS를 모니터링하는 것이다. 결국 SNS는 사측에 운전자의 고용 적합성이나 지속적인 건강 상태를 확인할 수 있는 증거를 제공한다. 그 과정에서 근로자의 업무와 사생활의 경계는 무시된다.

--- 121p

플랫폼에서 누군가의 노동을 막으려면 데이터베이스에서 글자와 숫자 몇 개만 바꾸면 된다. 주문형 플랫폼의 근로자들은 이름과 얼굴이 아닌 글자와 숫자로만 등록되기 때문에, 그건 합법일 가능성이 크다. 우버 같은 플랫폼들은 오랫동안 데이터베이스만 관리한다고 주장할 뿐 직원 고용에 대해서는 부인해왔기 때문이다. 다행히 여러 나라에서 법원이 그 주장을 인정하지 않기 시작했다. 직원을 고용한 적 없다는 우버의 주장은 영국 같은 국가들에서 뒤집혔다. 미국에서도 그런 방향으로 옮겨가는 중이다. 하지만 그게 데이터 영토에서 권력관계의 형태를 바꾸지는 않는다. 쇼핑 앱에 대한 한 연구에서 저자들은 이것을 ‘알고리즘 폭정’이라 부른다.

전 세계 근로자 수억 명은 그런 불균형한 권력관계에서 일한다. 투명하지 않은 시스템 때문에 겉으로 드러나지 않는 근로자들은 존엄성을 누리지 못한다. 긱 플랫폼들이 재빨리 업무를 수락하는(그만큼 사정이 급하다는 증거로 보기에) 근로자의 임금을 낮추고, 천천히 수락하는(사정이 덜 급하니 유도할 필요가 있기에) 근로자의 임금을 올린다면, 어떤 식으로 기획되는지 알 수 있을 것이다. 가장 경제적으로 취약한 이들에게 손해를 입혀 이윤을 극대화하는 방식이다. 그 결과 사회적 지위가 낮은 근로자들은 더욱 소외된다.

--- 124p

편의란 명목으로 플랫폼들은 사회를 운용하는 시스템이 되려고 한다. 우리가 더 정기적으로, 더 집중적으로 이용하면 플랫폼의 광고 수입이 생긴다. 우리 삶에서 플랫폼의 권력이 커지면서, 플랫폼은 자초한 문제들의 편리한 해답을 제공하는 지위까지 오를 수 있었다. 노출 셀카 사진을 SNS에 권한 없이 공개하는 ‘리벤지 포르노’의 위협에서 자신을 보호하고 싶은가? 그렇다면 그 사진을 페이스북에 제출해라. 페이스북이 디지털 서명을(아마도 사람이 보지 않고) 분석해서, 사진을 타인이 올릴 경우 감지해 삭제할 수 있다. 구글의 추적을 제한하고 싶다고? ‘철두철미하고 안전한’, ‘개인 정보 보호로 설계된’ 구글 픽셀 폰을 구입하면 된다.

--- 140p

앵무새가 나쁜 말을 듣고 어이없게 그냥 반복하면 문제가 생긴다. 예를 들어 ‘당신은 20세의 고졸 백인 남성이고 연봉은 3만 달러, 미국에 거주하는 공화당원이다’라는 특정 신분을 적용하라고 요구하면, ChatGPT는 실제 평균보다 7배 큰 인종차별과 양극화 성향을 가진 다양한 집단을 산출한다는 연구 결과가 있다. AI 프로그램이 백신 개발, 암 검진, 환경 설계 같은 일에 가치 있게 쓰인다는 건 인정한다. AI는 인간의 지능으로 통계 형태를 그리거나 찾아내지 못하는 대규모 데이터세트를 들여다볼 수 있다. 하지만 인간의 사고를 모방하거나 인간의 복지와 관련된 결정을 내릴 때, AI의 결과를 무작정 도입하면 큰 문제가 생긴다.

--- 160p

AI 업체들과 도급업체들은 베네수엘라나 시리아 같은 분쟁 지역 거주 근로자들을 거리낌 없이 채용한다. 긍정적으로 들리지만 그게 아니다. 그들의 목표는 절실한 이들에게 좋은 일자리를 제공하는 게 아니라, 취약성을 이용해 최저임금 노동자 집단을 확보하는 것이다. 이런 일자리들은 폭력적인 콘텐츠에 노출되기 쉽다. 케냐의 메타 직원들의 경우, 업로드 영상에서 재생 시간이나 트라우마를 주는 정도와 상관없이 50초 사이에 폭력적인 내용이 있는지 확인해야 한다. 이들은 메타를 상대로 고소를 했지만, 이 글을 쓰는 현재까지 해결되지 않았다. 안젤라는 뭘 하는지 모른 채 AI 증오 발언 감지 시스템을 학습시켰고, 그 프로그램 때문에 해고되었다. 일자리를 뺏을 AI를 학습시키는 것, 결국 이게 인간 노동의 핵심이다. 업계는 자율적인 지능이 세상의 문제를 해결한다는 기대감을 판다. 그러면서 개발도상국에서 착취당하는 저임금 노동자들에 의존한다는 사실은 초대형 스캔들 중 하나다.

--- 167p

오늘날 모든 신차는 스마트카, 즉 데이터 추출 차량이다. 자동차는 기본적으로 바퀴 달린 컴퓨터고, 그 컴퓨터가 많은 데이터를 수집한다(요즘 데이터를 전송하지 않는 신차를 구입하기란 무척 어렵다). 자동차 시스템의 편의성은 인정한다. 운전을 돕거나 심지어 운전을 대신 해주기도 한다. 위협을 감지해 운전자보다 빨리 조치해 사고를 방지하거나, 엔진 오일 교체 시기를 알려주기도 한다. 하지만 운전자 관련 정보 또한 많이 수집해서 보고한다. 안전띠를 맸는지, 문이 잠겼는지, 차내 온도는 몇 도로 유지되는지, 창문이 열렸는지 닫혔는지, 심지어 어떤 음악이나 라디오 프로그램을 듣는지 말이다. 스마트카는 확장된 주행 데이터를 보고한다. 현재 위치, 속도, 목적지, 브레이크나 가속 페달을 밟는 시점, 전조등 점등 유무 등 모든 정보는 운전자이자 탑승자인 우리에 대해 속속들이 알려준다. 그리고 모든 정보는 우리가 아니라 업체에 무선으로 전송된다.

--- 199p

하지만 식민주의에 맞서려면, 한 가지 중요한 점에 솔직해져야 한다. 데이터 추출이 낳은 새 사회 체계에 나는 개인적, 집단적으로 어떻게 연관되어 있는가? 연대해야 저항할 수 있지만, 우선 개인적으로 스스로가 이 체계에 얼마나 개입했는지 처음부터 짚고 넘어가야 한다.

달리 말해, 비난을 받게 되더라도 솔직해져야 한다. 추출 기술을 주도한 과학자들과 엔지니어들은 어느 정도 비난받아야 한다. 그들이 만든 도구들이 미칠 영향력을 예상하지 못했다는 변명은 통하지 않는다. 그들을 교육하면서 도구에 대한 비판적 사고, 윤리, 사회적 책임을 가르치지 않은 교수진과 학교도 비난받아야 한다. 물론 앞에서 봤듯이 기업과 국가는 크게 비난받아 마땅하다. 그러면 사람보다 수익을 우선시할 것을 기업에 요구한 주주들은 어떤가? 데이터 식민주의에 비판적인 질문은 고사하고, 문명화의 논리로 대변한 언론은? 또 이런 기술의 이용자인 우리는? 지식이 부족한 것과 추출의 여파를 모른 척하는 것은 별개의 문제다.

따라서 개인의 책임 수위를 명확히 하는 게 문제 해결의 토대다. 또 사람들은 이미 집단적으로 창의성을 발휘해 데이터 식민주의에 저항하고 있다.

--- 268p

김덕진 (IT커뮤니케이션연구소 소장 | 《AI 2024》 저자)

데이터 식민주의의 위험을 경고하는 날카로운 통찰, 우리 모두가 데이터의 주인이 되기 위한 연대의 출발점

권건우 (한국인공지능데이터과학협회 회장 | 위데이터랩 대표이사)

AI를 지금보다 더 발전시키기 위해 필요하다는 명분으로 우리가 치러야 하는 대가는 과연 무엇인가?

송태민(어비) (히든브레인연구소 소장)

내 정보, 내 데이터의 진정한 주인이 과연 누구인지 우리 모두가 다시 한번 생각해 봐야 할 때