인공지능 파놉티콘

모든 데이터를 수집·분류·저장하는 빅데이터-인공지능 시대,
일상에 편재한 감시의 역학을 뒤집는 주체적 시민 선언

오늘날 만인을 대상으로 한 빅데이터-인공지능 감시가 일상화되었다. 국가는 공공의 안녕과 질서를 목적으로 방대한 개인정보를 수집하며, 기업 역시 효율적인 마케팅을 위해 데이터를 기반으로 우리의 행동을 예측·조작한다. 나아가 각종 혜택을 누리기 위해, 타인과 소통하기 위해 사람들은 자발적으로 정보와 사생활을 노출한다.
《인공지능 파놉티콘》은 벤담의 파놉티콘이라는 분석 틀을 기반으로 17세기 산업혁명 시대부터 20세기 말 정보화 시대까지 감시 기제의 변천사를 고찰한 후, 2010년대 빅데이터와 인공지능 기술의 부상으로 더욱 교묘하고 침입적인 방향을 향하는 현대사회의 감시 문제를 다룬다.
우리는 어떤 서비스를 이용하기 위해 기나긴 약관에 동의를 누를 수밖에 없고, 잊을 때쯤이면 거듭 불거지는 개인정보 유출 사건에 무력감을 느끼며 자율성이 박탈된 상황에 체념하기도 한다. 그러나 감시에 이용되는 기술을 전유해 역감시의 수단으로 사용하는 등, 현대의 감시 권력에 우리가 저항할 방법은 여전히 있다. 우리는 프라이버시라는 개념을 '관계적'인 것으로 새롭게 인식하고 실천해 독립적·비판적 능력과 자율성을 지켜야 한다. 그것이 21세기 민주주의의 새로운 조건임을 이 책은 강조한다.


벤담의 파놉티콘에서 정보·전자 파놉티콘까지
역감시와 역파놉티콘의 가능성을 모색하다

미셸 푸코는 1975년 저작 《감시와 처벌》을 통해 제러미 벤담의 '파놉티콘'을 근대 이후 감시사회를 일컫는 강력한 메타포로 부활시켰다. 파놉티콘은 '시선의 비대칭성'을 전제로 수감자가 규율을 내면화하게 만드는 자동기계였으며, 수감자의 노동으로 유지되는 공장형 감옥이었다. 푸코의 요지는 무력으로 신체를 억압하던 과거의 권력이 이제는 규율을 내면화시키고 영혼을 통제하는 '규율권력'으로 진화했다는 것이었다. 정보혁명의 결과로 나타난 '전자감시'가 문제시되던 1970년대, 푸코의 해석은 대중에게 '감시사회'라는 화두를 던지며 엄청난 파급력을 일으켰다.
이 책은 제러미 벤담이 파놉티콘의 설계에 작업장을 주요하게 참고했다는 점을 짚으며 산업혁명기의 작업장을 시작으로 근대 감시문화의 기원을 짚어 들어간다. 공장의 거대화로 관리자의 시선을 통한 감시가 불가능해지자, 자본가들은 노동자 개개인과 그의 작업을 정보화해 관리하기 시작했다. 기업뿐만 아니라 국가 역시 19세기부터 국민에 대한 대대적 조사활동을 벌이고 이를 새로운 정책과 법률을 위한 기초자료로 사용했다. 전자 컴퓨터와 데이터베이스의 확산이 이러한 변화를 가속했다.
흥미로운 점은 기술의 도입이 늘 감시 주체의 의도대로만 작동하지 않았다는 것이다. 공장의 숙련된 노동자들은 기계와 시스템에 대한 장악력을 이용해 은밀하게 태업했고, 디지털 시대의 노동자는 관리자의 화면을 역으로 모니터하거나 감시 기술을 기만하는 새로운 문화를 만들어냈다. 시민운동을 통한 언론·기업·의정 감시와 정보공개 요구 등, 이미 우리 사회는 다양한 '역파놉티콘'의 수단들을 통해 감시권력의 비대칭성을 견제해왔다.


빅데이터-인공지능 시대 더욱 교묘해진 감시,
그러나 우리는 여전히 권력을 감시 아래에 둘 수 있다

빅데이터와 인공지능의 등장은 감시의 패러다임을 질적으로 바꿔놓았다. 과거의 기업들이 개인정보를 수집해 수익을 창출하는 데 그쳤다면, 이제 기업들은 사용자들의 사소해 보이는 행동 데이터를 수집하고 특정 행동을 끊임없이 유도하는 단계에 이르렀다. SNS 알고리즘이 사용자의 체류 시간까지 데이터화해 추천 알고리즘에 반영하고 끝없는 반응을 유도하는 것이 단적인 예다. 20세기 말까지만 해도 정보 기술이나 시민운동을 통한 역감시의 가능성을 낙관했던 학자들은, 상상을 초월하는 새로운 감시 기술의 역량에 압도당해 이러한 가능성이 사그라졌다고 비관했다.
그러나 이 책은 비관론을 경계하며 빅데이터-인공지능 감시가 과대평가되지는 않는지를 먼저 살핀다. 우선 정보는 지식보다 얕고 기술적이며 세계에 대한 복잡한 이해를 제공하지 못한다. 지나치게 방대한 데이터가 수집 주체의 판단을 흐리거나 허위 신호를 유발할 수도 있다. 예컨대 2013년 초 미국 국가안보국은 메타데이터를 통해 54건의 테러 공격을 저지했다고 발표했으나 실제 적발 건수는 단 한 건에 불과했다. 이 사례는 감시 기술의 능력이 실제보다 과장된 면이 있음을 시사한다. 다만 단지 감시체계의 오류를 비판하는 데 그치지 않고, 우리는 국가가 어떤 식으로 세상을 바라보아야 하는지를 더 적극적으로 물어야 한다고 이 책은 이야기한다.
이어서 저자는 쉼 없이 이어져온 다양한 저항의 현장을 조명한다. 감시 기술에 대한 내부 폭로와 프라이버시 확보를 위한 실천, 감시 교란 전략과 현실 세계에서의 디지털 행동주의, 법적-제도적 개혁과 데이터 저항 정치에 이르기까지, 수많은 시민의 노력이 실질적인 변화를 만들어냈다. '토르' 같은 암호화된 브라우저를 사용하고, 광고를 차단하는 프로그램을 사용해 정보를 빼내려는 기업의 시도를 교란하는 것은 익명성과 통제권을 되찾는 일상의 저항이다. 한편 SNS를 주요 매개로 조직되고 확산된 2011년의 '아랍의 봄' 시위와 '월스트리트를 점거하라' 운동, 2013년과 2020년의 흑인 인권운동(Black Lives Matter), 2017년 이후의 미투운동은 감시의 수단을 권력에 저항하는 핵심 요소로 전환해냈다. 우리나라도 2016~2017년과 2024~2025년의 탄핵 촉구 집회에서 시민 참여를 조직하고 연대를 형성하는 핵심 도구로 디지털 기술을 활용했다. 비록 개인이 감시 기술을 완벽히 무력화할 수는 없더라도, 이런 저항의 총체는 감시권력을 시민의 통제 아래 묶어두는 가장 강력한 도구가 된다.


개인정보 자기결정권을 넘어 사회정의의 문제로
프라이버시를 새롭게 상상하기

자발적 감시와 노출이 보편화된 '감시문화'속에서, 20세기의 중요한 화두였던 '프라이버시'는 어느덧 낯설고 고루하게 느껴진다. 그러나 이 책은 빅데이터-인공지능 파놉티콘의 지배를 저지할 첫걸음으로, 프라이버시를 '사회정의'의 관점에서 새롭게 인식하고 실천할 것을 제안한다.
흔히 우리는 비판적 판단 없이 정부와 기업에 데이터를 제공하고, 이 과정에서 개인의 자율성은 점차 잠식된다. 그런데 이것은 단순히 나 하나의 정보 유출에 그치지 않는다. 21세기의 프라이버시는 본질적으로 '관계적'이며 공동체적인 성격을 띠기 때문이다. 인공지능 알고리즘은 관계망 속의 연결고리를 추적하여 여러 사람의 프라이버시를 벗겨낸다. 내가 아무리 정보를 숨겨도, 시스템은 타인으로부터 수집한 방대한 데이터를 분석해 나의 행동과 성향을 정교하게 추정한다.
따라서 이제 프라이버시는 개인의 권리를 넘어 공동체의 정의이고, 권력에 대한 저항이자 민주주의를 지탱하는 조건이다. 이 책은 이러한 새로운 상상력을 바탕으로 감시 구조에 정치적으로 개입하는 것이 현대 사회에서 우리가 취해야 할 태도이자 변화를 위한 출발점임을 거듭 강조한다.

개정판 서문
초판 서문
들어가며

1장 계몽의 빛에서 감시의 시선으로
2장 제러미 벤담의 파놉티콘
3장 공장의 파놉티콘: 감시의 시선에서 정보관리로
4장 정보·전자 파놉티콘과 분산되는 감시
5장 역감시와 시놉티콘, 역파놉티콘

간주Intermezzo

6장 인공지능과 빅데이터 시대의 감시
7장 감시 자본주의, 디지털 감시경제 그리고 감시문화
8장 아직 '1984'는 아니다─기술의 어긋남과 저항하는 사람들
9장 빅데이터-인공지능 파놉티콘 시대의 새로운 프라이버시 권리선언문

주

홍성욱 과학기술학자. 서울대학교 물리학과를 졸업하고 같은 학교 대학원 과학사 및 과학철학 협동과정에서 석사·박사 학위를 받았다. 캐나다 토론토대학교 교수를 거쳐 현재 서울대학교 과학학과 교수로 재직 중이다. '과학기술과 사회 네트워크' 회장을 지내고 있으며, 북리뷰 전문 잡지 〈서울리뷰오브북스〉를 창간해서 초대 편집장을 맡았다. 지은 책으로 《우리는 재난을 모른다》 《홍성욱의 그림으로 읽는 과학사》 《실험실의 진화》 《홍성욱의 STS, 과학을 경청하다》 등이 있고, 함께 지은 책으로 《미래는 오지 않는다》 《과학으로 생각한다》 등이, 함께 옮긴 책으로 《과학혁명의 구조》 《판도라의 희망》 《알고리즘, 패러다임, 법》 《도덕을 왜 자연에서 찾는가?》 등이 있다. 《인프라스트럭처처럼 지탱하기》(가제)라는 저서를 준비 중이다.