기술이 인류를 구원한다는 착각

"기술을 통한 구원"이라는 이데올로기
그 기원과 구조를 해부하다

"완벽한 건강, 영생, 이러쿵저러쿵. 초인본주의, 초월하기, 이러쿵저러쿵. (…) 무슨 시나리오를 만들어 와도 개선하는 것은 가능하지만, 최소한 그것들은 꼭 들어가야 한다"

이 책은 AI 정렬 문제로 유명한 엘리에저 유드코스키와의 인터뷰로 시작된다. 그가 보기에 인공일반지능(AGI)의 등장은 필연이고, 그것이 등장하는 순간 인류는 죽을 가능성이 매우 높다. 그래서 그는 AI 연구를 핵무기로 위협해서라도 즉각 중단해야 한다고 말한다. 모순은 그 옆에 있다. 같은 인터뷰에서 그는 영생·초인본주의·우주의 정복이 "당연히 시나리오에 들어가야 할" 항목이라고 말한다. AGI로 인한 인류의 종말을 경고하면서, 동시에 이 위기 너머에 있는 빛나는 미래를 꿈꾸고 있다. 이 모순적인 장면이 바로 이 책의 핵심 질문을 압축한다. 실리콘밸리의 억만장자들이 그리는 '기술이 주도하는 미래'는 정말로 과학에 근거한 것인가, 아니면 그들의 부와 권력을 영속시키기 위한 이데올로기인가.
천체물리학자이자 과학 저널리스트인 애덤 베커는 유드코스키를 비롯한 핵심 인물들과의 직접 인터뷰, 원저작 논문에 대한 과학적 검증, 그리고 방대한 취재에 기반한 탐사 보도의 방법론으로 이 질문에 답한다. 그렇다. 이 책의 가장 큰 강점은 단순한 비판서가 아니라 현장 취재에 기반한 탐사 보도에 가깝다는 데 있다. 엘리에저 유드코스키, 안데르스 산드베리를 비롯한 실리콘밸리와 옥스퍼드의 핵심 사상가들이 저자 앞에서 직접 내뱉은 말들이 이 책의 뼈대를 이루며, 그 육성이야말로 이 사상 체계의 내적 논리와 모순을 가장 생생하게 드러낸다.
저자는 효율적 이타주의, 장기론, 특이점, AI 정렬 문제, 기술 가속주의 등 실리콘밸리를 지배하는 사상적 조류의 기원을 역사적으로 추적하고, 이것들이 서로 어떻게 연결되어 하나의 거대한 이데올로기, 즉 '기술을 통한 구원(techno-salvation)'이라는 세계관을 형성하는지를 입체적으로 보여준다. 베커는 복잡한 철학적·과학적 논쟁을 생생한 인물 서사로 풀어낸다.
저자의 논지는 세 갈래로 수렴한다. 첫째, 이 비전들의 과학적 근거가 빈약하다. 둘째, 설령 실현된다 해도 인류에게 재앙이 된다. 셋째, 이 비전들은 실현 여부와 무관하게 '지금 여기'에서 이미 권력으로 작동하고 있다. 미래에 대한 논의의 틀을 결정하는 자가 현재의 권력을 갖기 때문이다.


"세계를 구원하기 위해 돈을 번다"
선한 의도는 어떻게 금융 사기의 면죄부가 되었을까

이 책의 출발점은 '효율적 이타주의(Effective Altruism)'라는 철학 운동이다. 피터 싱어의 '가장 효율적인 방법으로 세계의 고통을 줄이자'는 제안에서 출발한 이 운동은, 윌리엄 매캐스킬의 손을 거치면서 '장기론(longtermism)', 즉 미래에 존재할 수조 명의 잠재적 인류가 현재의 80억보다 도덕적으로 더 중요하다는 사고로 변질된다. 이 변질을 단적으로 보여주는 매캐스킬의 주장이 있다. "지구 온도가 7~10℃ 올라 가난한 농경국가들이 타격을 입게 되더라도, 곧바로 인류 문명의 붕괴로 이어지는 것은 아니다." 저자는 이 철학적 전환이 어떻게 일어났는지를 추적하면서, 장기론의 '기대값 계산'이 실현 확률이 극히 낮은 시나리오에도 천문학적 수치를 부여해 현재의 빈곤, 기후 위기, 전쟁보다 아직 일어나지 않은 AI 대재앙이나 우주 식민지 건설이 더 시급한 문제라는 결론에 이르고 마는 과정을 꼼꼼히 따라간다.
이 논리의 귀결점에 샘 뱅크먼프리드(SBF)의 FTX 사건이 있다. 매캐스킬은 SBF를 효율적 이타주의의 가장 성공적인 실천 사례로 내세웠고, SBF 자신도 '주기 위해 벌기(Earn to Give)' 운동의 모범이라 자처했다. 베커는 '인류의 장기적 미래를 위해 가능한 한 많이 벌어야 한다'는 논리가 어떻게 80억 달러 규모의 금융 사기를 도덕적 사명으로 포장하는 면죄부가 되었는지, 그리고 이 논리 구조가 SBF 개인의 일탈이 아니라 장기론이라는 철학 자체에 내재된 위험이었음을 논증한다.


"AGI가 올 때까지 0에서 2개 사이의 비약적 발전만 있으면 된다"
특이점 신앙과 AI 종말론의 실체

레이 커즈와일은 기술 발전이 지수적으로 가속화되어 2045년경 인간을 초월하는 기계 지능, '특이점(Singularity)'이 탄생할 것이라 예언했다. 이 이론은 실리콘밸리의 복음이 되었고, 커즈와일 자신은 구글의 엔지니어링 디렉터로 초빙되었다. 베커는 커즈와일이 이 이론의 근거로 내세우는 '수확 가속의 법칙'이 무어의 법칙을 진화사 전체로 무리하게 확장한 것이며, 기술사에서 실제로 관찰되는 것은 가속이 아니라 '수확 체감', 즉 혁신의 속도가 점차 둔화되는 현상이라는 점을 과학적으로 입증한다. 커즈와일이 세상을 떠난 아버지를 AI로 부활시키겠다는 개인적 열망을 특이점 이론에 투사했다는 지적은 이 '과학'의 종교적 본질을 드러낸다.
한편 엘리에저 유드코스키와 기계지능연구소(MIRI)를 중심으로 한 AI 종말론은 인간보다 뛰어난 AGI가 통제를 벗어나 인류를 소멸시킬 수 있다는 공포를 유포한다. 유드코스키는 저자와의 인터뷰에서 AGI의 등장이 "50년보다는 5년 내"라고 단언하며, AGI가 인류를 소멸시키지 못하도록 핵무기로 위협해서라도 강제로 AGI 연구를 중단시켜야 한다고 주장한다.
유드코스키의 경고는 일견 기술 낙관론자들의 대극에 서 있는 것처럼 보인다. 그러나 이 책이 추적하는 핵심은 바로 이 대립이 허구라는 점이다. AGI의 등장은 임박했고, 기술 발전은 필연이며 인류의 유일한 선택지라는 전제에서 양측은 차이가 없다. 다만 그 필연적 미래의 결론?구원이냐 재앙이냐?만 다를 뿐이다. 그리고 어느 쪽이든 바라는 바는 같다. 그 미래의 방향을 설정할 권한이 자신들에게 주어져야 한다는 것, 기술 발전과 인류 미래의 흐름을 만들기 위한 자원과 권력이 자신들에게 집중되어야 한다는 것이다.
베커는 유드코스키가 경고하는 묵시록적 서사가 '현재' AI가 만들어내는 편향, 감시, 노동 대체, 에너지 소비 등의 실질적인 문제들로부터 시선을 돌리고, 기술업계에 규제를 피할 명분과 더 많은 자원을 끌어모을 구실을 동시에 제공하는 기능을 수행한다고 분석한다. 또한 이 운동의 뿌리가 온라인 커뮤니티 〈덜틀리기(LessWrong)〉에서 시작된 '이성론(rationalism)' 운동에 있으며, 이것이 효율적 이타주의와 결합하면서 하나의 자기강화적 사상 생태계를 형성했음을 보여준다.


"우주 식민지화가 1초 늦어지면 100조 명이 죽는다"
학계의 비호와 정치적 침투

옥스퍼드대학교의 '인류의 미래 연구소(FHI)'는 장기론의 학문적 요새였다. 닉 보스트롬은 우주 식민지화가 1초 늦어질 때마다 100조 명의 잠재적 인명 손실이 발생한다는 극단적 계산을 내놓았고, 안데르스 산드베리는 인간 정신을 컴퓨터에 이식하는 '마인드 업로딩'의 가능성을 주장했다. 베커는 이러한 학술적 계산들의 전제가 얼마나 임의적인지를 하나하나 따져본다. 자기복제 탐사선, 다이슨 구, 영원히 팽창하는 우주 문명?이 모든 것이 실현 가능하다는 전제 위에서만 그 숫자가 성립하며, 그 전제 자체가 과학적으로 뒷받침되지 않는다.
특히 저자는 이 사상이 이미 현실 정치에 깊이 침투해 있음을 경고한다. 효율적 이타주의 운동의 최대 후원자인 오픈자선(Open Philanthropy)은 조지타운대학교에 안보·신기술센터(CSET)를 설립하여 미국 정부의 AI 정책에 직접적 영향력을 행사하고 있다. 매캐스킬은 일론 머스크를 SBF에게 소개하는 역할을 했고, 오픈AI 대표 샘 올트먼은 미 상원 청문회에서 증언하고 바이든 대통령을 만나면서 AI의 미래를 주도하겠다는 야심을 드러냈다.
한편, 넷스케이프 창업자이자 벤처자본가 마크 앤드리슨은 '기술 낙관주의자 선언(The Techno-Optimist Manifesto)'을 통해 AI 발전의 지연은 곧 살인과 다름없다고 주장했다. 베커는 앤드리슨이 아무리 이성론자·효율적 이타주의자와 다르다고 증명하려 해도 정작 사고방식에서 차이가 나지 않는다고 지적한다. 결론만 다를 뿐, 거의 같은 기본 전제, 기술 발전은 필연적이고, 항구적 성장은 가능하며, 인류의 운명은 우주를 향해 있다는 것에서 출발하기 때문이다. 기술 가속주의든 AI 종말론이든 효율적 이타주의든, 귀결점은 동일하다. 기술 억만장자들의 부의 축적과 권력 강화를 도덕적 사명으로 포장하는 것이다.


그 미래는 오지 않는다.
그러나 그 꿈은 이미 우리를 지배하고 있다

이 책이 분석하는 사상이 현실을 주도하는 광경을 우리는 이미 목도하고 있다. 일론 머스크는 미국 연방정부의 예산 삭감을 주도했고, 오픈AI는 비영리법인에서 영리 기업으로의 전환을 마쳤으며, 빅테크 기업들의 시가총액은 웬만한 국가의 GDP를 초월한다. 이 책이 해부하는 '기술 권력'이 단순한 망상이나 비방이 아니라 이미 현실의 정치·경제 질서를 재편하는 동력이 되고 있다는 증거이다.
AI 패권 경쟁, 반도체 공급망 재편, 빅테크의 정치적 영향력 확대. 이 같은 현상은 한국 사회에도 직접적으로 영향을 미치고 있다. 삼성과 SK 같은 반도체 기업이 글로벌 공급망의 핵심 축을 이루고, AI 기술 도입이 산업 전반에서 가속화되는 상황에서 실리콘밸리 억만장자들의 비전이 어떤 사상적 토대 위에 서 있는지 이해하는 것은 단순한 교양이 아니라 전략적 필수 과제이다. 또한 이 책이 분석하는 '효율적 이타주의'와 '기술 가속주의' 같은 사조는 한국의 스타트업 생태계와 기술 정책 담론에도 이미 번역·수입되고 있어, 그 사상적 맥락과 위험을 이해하는 것이 더할 나위 없이 중요하다.
이 책은 기술 비판서로 시작하지만, 결국 인간에 대한 책으로 끝난다. 마지막 장 〈전대미답의 장소〉에서 저자는 자신의 이야기를 꺼낸다. 칼 세이건의 『코스모스』에 매혹되고 《스타트렉》을 보며 우주를 꿈꾸던 소년이었다는 것. 과학이 인류를 더 나은 곳으로 이끌어줄 것이라는 믿음은 이 책의 비판 대상만의 것이 아니라 저자 자신의 것이기도 했다. 그러나 베커는 묻는다. 그 꿈이 소수의 독점물이 되어 나머지 인류의 현재를 짓밟는 도구가 될 때, 우리는 무엇을 선택해야 하는가.
지구 온난화, 불평등, 핵전쟁의 위험은 에너지를 더 쓰고 기술을 더 개발한다고 해결되지 않는다. 설득, 정의, 공정이 필요한 정치적 문제들이기 때문이다. 만병통치약도 유토피아도 없다는 것을 받아들이는 것이 인류의 미래를 위한 길이다. 우리를 구원하러 오는 존재는 없다. 기술에 세상의 치유를 맡길 수 없다. 우리가 직접 해야 한다.
80년도 전에 전 미국 연방대법관 루이스 브랜다이스가 "민주주의를 가질 수도 있고, 소수에게 부가 집중될 수도 있지만, 동시에는 할 수 없다"라고 역설한 것처럼, 지난 10년 동안 부의 집중으로 인해 민주주의는 약화되고 있으며, 억만장자의 존재 자체가 민주주의를 위협하는 것처럼 보이기까지 한다. 저자는 어슐러 K. 르 귄의 말을 빌어 책을 마무리한다. 자본주의의 종말보다 세계의 종말이 더 상상하기 쉬운 시대이지만, 인간의 저항을 통해 바꾸지 못할 인간의 권력이란 없다고. 억만장자들이 불가능한 미래를 필연적 운명이라 포장하는 이유는, 우리로 하여금 당연한 미래, 정해진 미래 같은 것은 없다는 사실을 잊게 만들기 위해서이다. 이 책은 바로 그 사실을 상기시킨다. 책의 마지막에서 저자가 역설하듯이, "미래는 열려 있다."

이 책에 보내는 찬사
옮긴이 서문
들어가며

제1장 소멸되지 않기 _ 인간의 가치와 효율적 구원
제2장 사랑과 은총의 기계들 _ 특이점과 가속의 사부곡
제3장 종이 집게 골렘 _ AGI와 착시현상
제4장 우주의 끝에 있는 윤리학자 _ 영생과 행복의 계산식
제5장 걷잡을 수 없는 혼란의 우주 유토피아 _ 전지전능한 우주적 존재들
제6장 전대미답의 장소 _ 희미한 푸른 점과 인류의 미래

감사의 말
옮긴이 후기
인터뷰이 및 인터뷰 요청자
사용허가 및 도판 저작권
주

애덤 베커 코넬대학교에서 철학과 물리학 학사 학위를, 미시간대학교에서 천체물리학 박사 학위를 받았다. 이후 과학 저널리스트로 활동하면서 《가디언(The Guardian)》, 《포천(Fortune)》, 《뉴욕타임스(The New York Times)》, 《사이언티픽 아메리칸(Scientific American)》, 《뉴 사이언티스트(New Scientist)》, BBC, NPR 등 다양한 매체에 기고해 왔다. 그 밖에 샌타페이연구소(the Santa Fe Institute) 과학 저널리스트, 사이먼스 컴퓨팅 이론 연구소(the Simons Institute for the Theory of Computing) 과학 커뮤니케이터, 캘리포니아대학교 어바인 논리학 및 과학철학과 방문학자, 캘리포니아대학교 버클리 과학기술사 연구소(Office for History of Science and Technology) 방문학자로 활동했다. 지은 책으로 『실재란 무엇인가(What is Real?)』가 있다.