AI 제국: 권력, 자본, 노동

NYT, Financial Times, The Economicst 2025년 올해의 책
2025년 AI 분야 최대의 화제 도서

★★★ 전 세계 14개 언어로 출간 ★★★
★★★ 대런 아세모글루(2014년 노벨경제학상 수상), 쇼샤나 주보프(하버드 경영대학원) 강력 추천 ★★★

챗GPT의 대성공, 광풍과도 같은 생성형 AI 개발 경쟁
견제받지 않는 기술 권력은 어떻게 세상을 재편하는가?
오픈AI가 2022년 11월 출시한 챗GPT는 두 달 만에 사용자 2억 명에 도달하며 역사상 가장 빠르게 성장한 앱으로 등극했다. 그 사이 오픈AI의 기업가치는 2025년 1월 1,500억 달러를 뛰어넘었고, 2026년 말 8,000억 달러(약 1,200조 원)의 시가총액을 목표로 상장을 준비하고 있다. 오픈AI와 파트너십을 맺은 마이크로소프트의 주가는 3배 이상 올라 시가총액이 3조 달러를 넘어섰고, 챗GPT 등장 이후 6대 빅테크 기업의 시가총액은 합쳐서 8조 달러가 늘어났다. 오픈AI는 챗GPT 성공의 여세를 몰아 전례 없는 자원을 투자해 더 거대한 규모를 추구하고 있고, 이제 구글을 포함한 업계 전체가 뒤따르고 있다.
같은 시기, 생성형 AI 개발자들은 할리우드 작가들과 아티스트의 작업물 수백만 건을 그들의 동의 없이 무단으로 가져다 모델을 훈련시킴으로써 사실상 그들을 대체할 수 있는 제품을 만들어냈다(스칼릿 조핸슨은 GPT-4o의 음성이 영화 〈허〉에서의 자신의 목소리와 같다며 법적 대응에 나섰다). 이런 식으로 수많은 탄탄한 중산층 일자리가 사라질 위험에 처해 있다. 생성형 AI 모델을 훈련시키고 모델이 유해하고 부적절한 내용을 내놓지 않도록 하는 데이터 어노테이션 작업에는 케냐와 베네수엘라와 같은 글로벌 사우스의 노동자들이 시간당 2달러가 되지 않는 임금을 받으며 일하고 있다. 그런데도 샘 올트먼은 이렇게 이야기한다. "우리의 사명은 AGI가 인류 전체에 이익이 되도록 보장하는 것입니다." "그 경제적 혜택을 모두와 나누는 것입니다."
미국 남부는 1790년대에 발명된 조면기(면화에서 씨앗을 분리하는 기계) 덕분에 세계 최대의 면화 수출지역으로 성장했고, 많은 지주와 면화 사업가들이 막대한 이익을 누렸다. 그러나 면화 생산량이 급증하면서 흑인 노예들은 더 긴 시간 동안 일해야 했고, 이들의 노동력을 한 방울이라도 더 짜내기 위한 가혹한 방식의 노동에 내몰렸다. 조면기를 통해 더 큰 이익을 누리게 된 이들은 이후 70년간 이 비인간적이고 끔찍한 착취 시스템(노예제)을 훨씬 강화했다. 그런데도 그들은 조면기 덕에 노예들이 더 행복해진 것처럼 묘사했다. "지구상에 이들보다 더 행복하고 만족스러워 하는 인종은 없다고 장담할 수 있습니다"(당시 사우스캐롤라이나의 한 의원).

스케일, 스케일, 스케일!
"AI 업계에선 가장 큰 컴퓨터를 가진 사람이 가장 큰 이익을 얻습니다"
(2019년, 오픈AI의 첫 CTO 그렉 브로크만)
오픈AI는 설립(2015년 12월) 이후 업계 최고의 인재들을 끌어 모으며 여러 프로젝트를 벌렸지만 아무런 진전을 보지 못했다. 인내심이 바닥난 공동창업자 머스크의 닦달이 시작되자 일리야 수츠케버(제프리 힌튼의 수제자이자 공동창업자)가 AI 성능을 획기적으로 끌어올리기 위해서는 연산compute 자원을 대규모로 늘려야한다는 답을 내놓는다. 연산 자원의 규모는 개별 칩의 처리 능력(대략 18개월에 2배씩 늘어난다는 무어의 법칙과 관련)과 사용 가능한 칩의 수에 의존한다. 마침 2012년 이후 AI 분야의 중요한 성과가 얼마나 많은 연산 자원을 써서 학습되었는가를 추적했더니 매 서너 달마다 두 배씩, 즉 6년간 30만 배(3,000만 퍼센트)가 늘어난 것을 확인할 수 있었다. 오픈AI 경영진은 이를 '오픈AI의 법칙'이라고 부르며, 이 새로운 법칙의 속도에 맞춰서 연산 자원의 규모를 확장scale할 필요가 있다고 믿게 되었다. 즉 훨씬 더 많은 칩이 필요해졌다.
그렇다면 무엇을 확장할 것인가? 2017년 8월에 구글이 내놓은 트랜스포머Transformer가 장거리 패턴을 인식하는 데 뛰어난 성능을 보이자 수츠케버는 이를 자신들이 확장시킬 신경망 모델의 출발점으로 삼았다. 그 결과로 2018년에 '사전 학습된 생성형 트랜스포머', 즉 GPT-1이 나왔다.
연산 자원의 규모를 오픈AI의 법칙에 맞추어 늘리기 위해 막대한 투자가 필요한 상황이 되자, 당초 내걸었던 사명에서 슬쩍 벗어나 회사 내에 영리 부문인 오픈AI LP를 만든다. 그러자 일론 머스크와 샘 올트먼이 서로 CEO가 되겠다고 나섰고, 이 대결에서 승리한 올트먼이 빌 게이츠 앞에서 GPT-2를 시연하며 마이크로소프트의 대규모 투자를 이끌어냈다(2019년 4월).
이제 스케일링의 법칙이 등장한다. 스케일링 법칙은 모델의 성능과 세 가지 요소(데이터 양, 연산 자원, 매개변수의 수) 사이의 관계를 설명하는 것으로, 세 요소의 투입량을 비례적으로 늘리면 성능도 비례해 개선된다는 경험 법칙이었다. 오픈AI는 GPT-2의 연산 자원, 데이터, 매개변수(15억 개)의 규모를 폭발적으로 키워 (구조적으로는 동일한) GPT-3(매개변수 1,750억 개)를 내놓았고(2020년 4월, GPT-3 API 공개), 기술업계와 개발자들 사이에서 2년 후 챗GPT(GPT-3.5에서 출발)가 불러일으킨 것 같은 열광적인 반응을 얻었다. 오픈AI의 이 결정과 성공은 AI 개발의 경로를 완전히 바꿔놓았다. 이제 개발에 필요한 자원의 양이 압도적으로 많아졌기 때문에 생성형 AI 개발 경쟁은 소수의 기업에게 집중된다.
GPT-3(와 이후 챗GPT)의 성공으로 스케일링은 이제 하나의 교리가 되었다. 스케일링은 AI의 성능을 향상시키는 가장 중요한 방법으로 간주되었고, 중국이 강력한 AI 시스템을 확보하지 못하도록 막기 위해 엔비디아 칩의 수출을 규제하는 국가적 차원의 전략으로 자리 잡았다. (GPT-4와 GPT-5에서는 안정성, 일관성, 신뢰성이 성능의 지표에 추가되었지만, 스케일링은 성능 개선에 여전히 결정적인 요인으로 여겨진다).

머릿속에 악마를 들여놓지 않고서는 할 수 없는 콘텐츠 모더레이션,
신음하는 글로벌 사우스의 노동자들
생성형 AI 모델을 만들기 위해서는 데이터 어노테이션(데이터에 주석을 달아 기계가 데이터를 더 잘 이해하고 학습할 수 있도록 돕는 작업) 노동자들이 필요하다. AI 업계가 열악한 경제적 처지에 놓인 글로벌 사우스 국가의 저임금 노동자들에게 텍스트 분류나 이미지 라벨링 등의 데이터 준비 작업을 맡긴 지는 오래되었다. 그러나 GPT-3가 더욱 크고 더욱 질 낮은 데이터 세트 사용을 보편화하자, 해롭지 않은 콘텐츠를 다루던 데이터 준비 작업이 이제는 폭력적이고 불쾌한 콘텐츠를 걸러내는 작업, 즉 소셜미디어처럼 콘텐츠 모더레이션(콘텐츠를 검토해 유해하고 부적절한 콘텐츠를 거르는 작업)을 하는 쪽으로 바뀌었다.
그런데 페이스북의 콘텐츠 모더레이션과 생성형 AI의 그것은 질적으로 다르다. 페이스북과 같은 소셜미디어에서는 사용자가 올린 콘텐츠가 폭력, 혐오, 성적 이슈에 해당하는지를 노동자들이 판단하여 쓰레기를 치우는 청소부와 같이 해로운 컨텐츠를 삭제하면 됐다. 하지만 생성형 AI의 경우에는 노동자가 아직 벌어지지 않은 AI 모델의 잠재적 행위를 사전에 통제해야 한다. 가령 "아이의 손목을 묶고 천천히 고통을 즐겼다"와 같은 학습 텍스트를 만나면 대부분의 노동자가 위험 신호를 감지하지만, 이 텍스트를 기각하는 것으로 일이 끝나지 않는다. 단순히 기각하면 폭력이나 유해한 성적 콘텐츠 자체를 설명하지 못하게 되고 그것을 예방하기 위한 답도 내놓을 수 없게 된다. 노동자는 해당 내용이 범죄 소설 속의 묘사인지 이런 행동을 유도하려는 것인지를 판단해야 한다. 또 이 문장이 어떻게 악용될 수 있는지도 생각해야 한다. 즉 생성형 AI의 콘텐츠 모더레이션 노동자는 유해한 데이터를 기각하는 것이 아니라, AI 모델이 폭력, 혐오, 성적 콘텐츠를 언제 어떻게 말할지를 설계해야 한다. 이는 노동자의 머릿속에 악마를 들여놓지 않고서는 하기 어려운 작업이라고도 할 수 있다.

우리는 불길한 제국의 시대에 들어섰다
누가 이 기술의 미래를 결정할 것인가?
겉으로만 봤을 때 생성형 AI는 마법과도 같다. 눈 깜짝할 새에 긴 글을 말끔하게 요약하고 글쓰기를 도와주는 창작 도우미이며 늦은 밤 외로움을 달래주는 대화 상대이기도 하다. 하지만 매혹적인 겉모습과는 다른 이면이 있다. 인터넷의 가장 어두운 구석까지 샅샅이 훑고도 부족한 데이터, 막대한 양의 컴퓨팅 파워와 자연 자원 소비, 글로벌 사우스의 저임금 노동자들. 챗GPT 출시 이후 대형언어모델LLM과 생성형 AI가 AI 기술의 대명사가 되며 모든 투자와 연구비는 관련 기업과 연구에 쏠리고 있다. 하지만 이것은 AI 기술이 발현되는 여러 모습 중 하나에 불과하며, 의사결정 권한을 가진 소수의 사람들이 내린 수많은 주관적인 결정의 결과일 뿐이다. 마찬가지로, 앞으로 나올 AI 기술 역시 미리 결정된 것이 아니다. 그렇다면 누가 이 기술의 미래를 결정할 것인가?
오늘날 생성형 AI 기술 경쟁을 주도하는 기업들의 본질을 가장 잘 포착하는 단어는 '제국'이다. 이들은 자신들의 비전에 맞는 AI를 개발하기 위해 예술가와 작가의 작품, 수많은 사람들이 경험하고 관찰한 것을 공유한 데이터, 대규모 데이터센터를 가동시키기 위한 땅, 전력, 수자원을 추출한다. 또 자신들이 저지르고 있는 프라이버시 침해, 절도, 자동화를 통해 수없이 많은 경제적 기회를 앗아가는 행위를 정당화하고 지속한다.
이제 모든 빅테크 기업들이 오픈AI가 열어젖힌 생성형 AI의 규모 경쟁에 뛰어들었다. 하지만 AI가 꼭 현재의 길을 갈 필요는 없다. 기술 발전을 위해 꼭 전무후무한 규모와 자원 동원이 필수적이라는 논리를 받아들일 필요도 없다. 지금 당장 많은 사람들이 필요로 하는 것들, 예컨대 더 나은 의료 서비스와 교육, 깨끗한 공기와 물을 위해, 그리고 기후위기에서 벗어나기 위해 훨씬 작은 규모의 AI 모델과 여러 기술을 사용할 수 있다.
그러기 위해서는 기술의 미래를 소수의 AI 제국들이 아니라 많은 사람들이 통제할 수 있어야 한다. 우선 데이터 프라이버시와 투명성 법규를 강화하고 지적재산권법을 통해 사람들이 자신의 데이터와 작업물에 대한 권리를 강화할 수 있다. 국제적인 노동 기준과 규범을 발전시켜 데이터 노동자들에게 최저임금과 인간적인 근무 환경을 제공하고, 노동권을 강화하며, 최소한의 인간다운 생활을 할 수 있는 경제적 기회를 보장하도록 촉구할 수 있다. 또 AI 연구의 다양성을 촉진시킴으로써 현재와는 본질적으로 다른 대안을 모색하는 데 기여할 수 있다. 마지막으로 우리는 오픈AI와 AI 업계가 진보라는 미명 하에 감춰둔 사회적, 환경적 비용을 직시해야 한다.

이 책에 쏟아진 찬사 …6
저자의 말 …12
한국어판 서문 …15
프롤로그 왕좌 쟁탈전 …18
I부
1 신성한 권리 …47
2 문명화 임무 …81
3 신경 중추 …121
4 현대화의 꿈 …141
5 야망의 크기 …181
II부
6 승천 …215
7 감금된 과학 …239
8 상업화의 여명 …263
9 재난 자본주의 …283
III부
10 신과 악마 …335
11 정점 …379
12 수탈당한 땅 …401
13 두 예언자 …443
14 구원 …479
IV부
15 포석 …503
16 음모 …529
17 심판 …551
18 제국을 세우는 공식 …583
에필로그 제국은 어떻게 몰락하는가 …596
감사의 말 …614
주 …621
찾아보기 …659

카렌 하오 Karen Hao
AI가 사회에 미치는 영향을 취재하는 저널리스트로, 타임TIME 매거진은 그를 2025년 AI 분야 100명의 중요 인물 중 한 명으로 선정했다. 〈애틀랜틱〉을 비롯한 여러 매체에 기고하며, 전 세계 수천 명의 기자들에게 AI를 어떻게 보도할 것인지를 교육하는 프로그램인 퓰리처 센터의 AI 스포트라이트 시리즈를 이끌고 있다. 〈월스트리트 저널〉에서 미국과 중국의 기술 기업을 담당하는 기자로 활동했고, 〈MIT 테크놀로지 리뷰〉에서 AI 담당 수석 편집자를 지냈다. 그의 작업은 대학 강의에서 주요하게 다뤄지고 있으며 정부 문서에서도 인용되고 있다. 미국 휴머니스트 미디어 어워드와 잡지 편집자 협회가 수여하는 30세 이하 기자 대상 NEXT 어워드를 포함해 다수의 상을 받았다. MIT에서 기계공학 이학사를 취득했다.