AX터뷸런스

이 책의 구성
이 책은 총 4부로 나뉘어졌고 9개의 장으로 구성되어 있다. AX 시대에 AI가 어떻게 위험을 만들고, 누가 그 위험에 맞서고 있는지를 소개하며, 우리가 AI 안전의 설계에 주체적으로 참여할 수 있는 방안을 제시한다.
1부는, 대혼돈의 터뷸런스에 빠진 콘텐츠 생태계에 대해 말한다. AX 시대에서 디지털 콘텐츠는 이제 그 어느 때보다 더 빠르게 많이 생성되고, 더 정교하며, 더 개인에게 맞춤화되어 있다. 그리고 누군가에겐 그저 도움이 되는 기술이지만, 누군가에겐 감정과 믿음을 조작하고 악의를 행하는 무기로 사용되기도 한다. 기술의 진보가 어떻게 오프라인 사회의 불평등을 확대하고, 위해를 심화시키는지 구체적인 사례와 함께 살펴본다.
2부는, 이런 혼돈의 시대에 온라인 질서를 세우고, 보이지 않는 곳에서 디지털 위해에 맞서는 사람들, 즉 TnS 전문가들의 세계를 실무자의 관점에서 본격적으로 조명한다. 왜 플랫폼은 유해 콘텐츠를 쉽게 지우지 못하는가? 사용자의 권리와 표현의 자유는 어디까지이며, 누구의 기준으로 판단하는가? TnS는 왜 오늘날 실리콘밸리와 샌프란시스코의 빅테크 기업에 필수적인 조직인가? 이 장에서는 기업 내부의 복잡한 의사결정 구조와 기술적 한계, 정책과 윤리의 경계에서 벌어지는 긴장을 더해, 온라인 안전의 실상을 파헤친다.
3부는, AX 시대 속 TnS가 AI기술을 어떻게 활용해 온라인상 위험을 감지하고 유해 콘텐츠에 대응하는지 살펴본다. 전통적인 방법부터 생성형 AI라는 고차원 기술이 존재하는 오늘도 AI와 사람은 한 팀으로 일한다. 모든 판단을 AI에 맡길 수는 없기 때문이다. 결국 온라인 위해 콘텐츠 문제에는 인간의 개입이 필수적이며 인간과 AI의 협력이야말로 진정한 안전 설계의 핵심임을 이야기한다.
4부는, AI와 기술의 안전한 발전에 모두의 참여를 위한 실천 안내서다. 이 분야에서 커리어를 시작하고 싶은 사람, 창업을 고민하는 사람, 혹은 기술과 사회 문제를 연결해보고 싶은 사람이라면 어디서부터 시작해야 하는지에 대한 구체적인 커리어 로드맵을 제안한다. 지금 우린 기술 기업만 탓하고 있기엔 시간이 없다. 그리고 법과 규제만으로는 이 문제를 해결할 수 없다. 안전한 기술 생태계가 만들어지려면 우리 모두가 함께 설계에 참여해야 한다는 사실을 강조한다.

우리는 어디에 있는가
기술은 이미 국경을 넘어 우리 모두의 삶을 바꾸고 있다. 하지만 기술이 가져오는 변화는 모두에게 공평하게 다가오지 않는다. 기술의 악영향은 여전히 가장 취약한 사람들에게 먼저 집중되고, 가장 큰 목소리를 가진 자들이 방향을 정한다. 오늘날 기술은 우리에게 어떤 모습으로 위해를 낳고, 불평등을 만들어가는가? 지금 그 기술의 설계에는 누가 참여하고 있는가?
우리는 더 이상 기술을 수동적으로 받아들이는 소비자에 머물러선 안 된다. AI가 만들어 내는 유해 콘텐츠와 그 확산 구조를 이해한다면 더욱 적극적으로 참여할 수밖에 없을 것이다.
이 책이 기술발전의 흐름을 주도적으로 설계할 당신의 여정에 첫 장을 열어주길 바란다.

01 콘텐츠 생태계, 대혼돈의 터뷸런스 속으로

제1장ㆍ생성형 AI, 콘텐츠 세계의 격변의 문을 열다 18
1. 생성형 AI, 더 똑똑한 뇌의 등장 19
2. 콘텐츠 생태계 23
3. 양 x 질 x 개인 맞춤화: 이 삼합이 만든 새로운 세상 28

제2장ㆍ가짜 뉴스는 시작일 뿐, 더 악랄한 악의를 구현하는 기술 30
1. 탈중앙화된 권력의 시대 30
2. 생성형 AI, 악인을 위한 완벽한 무기 31
3. 누구의 손에 들린 도구인가 37
자가 테스트 나는 지금 AI 콘텐츠 생태계 어디쯤에 있는가? 39

02 혼돈 속 질서를 설계하는 Trust and Safety 전문가들

제3장ㆍ플랫폼의 진짜 속사정, 유해 콘텐츠와의 전쟁 44
1. 온라인 플랫폼의 작동 방식 45
2. 인터넷의 그림자: 유해 콘텐츠 49
3. 유해 콘텐츠 관리가 어려운 진짜 이유 52
4. 기업의 우선 순위 61

제4장ㆍ당신이 몰랐던 스크린 너머의 세계, Trust and Safety 63
1. 일상에서 보이지 않는 Trust and Safety 64
2. Trust and Safety 조직이란? 66
3. TnS는 팀이 아니라 사명이다 79
실무자 인터뷰 극단주의 조직의 위협에 맞서는 TnS 전문가 이야기 80

03 AX 시대의 안전 설계: AI와 인간의 콜라보

제5장ㆍAI vs. AI: 유해 콘텐츠에 맞서는 기술들 88
1. AI가 TnS에 필연이 된 이유 88
2. 키워드 필터에서 생성형 AI까지, TnS 기술의 발전과 AI 적용 92
3. 하지만 안전을 완성하는 것은 결국 사람이다 99

제6장ㆍAI의 한계, 그리고 인간이 개입해야 하는 순간 101
1. 기술의 한계 102
2. TnS에 적용된 생성형 AI의 한계는? 105
3. 사람만이 할 수 있는 일 111
4. 사용자도 Human-in-the-loop이다 114
5. 터뷸런스를 헤쳐가는 법: 신뢰와 정당성 116
자가 테스트 내 디지털 일상 속 Trust and Safety는 어디에 있었을까? 117

04 더 안전한 디지털 세상, 이제는 우리가 설계할 차례

제7장ㆍ새로운 기회: Trust and Safety 커리어 로드맵 120
1. AI 시대, 지금 뛰어들어도 늦지 않았다 120
2. 진입 경로는 다양하다: 기업, 학문, 창업 등 121
3. 어디서 시작할 것인가? 129
4. 디지털 안전의 핵심, TnS 135
실천 체크리스트 오늘, 이 자리에서 시작하는 Trust and Safety 136

제8장ㆍ혼자 싸워 이길 순 없다: 공통의 적에 맞서는 글로벌 연대 139
1. TnS 기술은 나눌수록 강해진다 139
2. 플랫폼 간 협력과 성과 141
3. 아직 해결되지 않은 과제 145
4. 오픈소스는 답인가? 책임의 딜레마 148

제9장ㆍAI 공존의 시대: 안전의 주권, 이제는 우리의 선택 150
1. TnS: 오늘의 현실 vs. 우리가 나아가야 할 미래 150
2. 기업 내 TnS의 위치 152
3. 정부는 규제자 역할을 넘어, 기술과 사회를 연결하는 파트너로 155
4. 교육기관 그리고 사용자의 역할 159
5. 당신의 선택은? 161

전수민 현재 디스코드(Discord Inc.)에서 AI와 머신러닝 기반 프로덕트의 안전 정책 수립을 담당하는 기술 정책 전문가다. 사전 위해 분석과 기술적 · 정책적 제안을 통해 유해 콘텐츠의 노출과 확산을 줄이고, 사용자 안전과 신뢰를 위한 프로덕트 안전 설계를 이끈다.
스탠퍼드 대학교에서 국제정책학 석사과정을 전액 장학금으로 수학하며, 기술 정책과 AI 거버넌스를 집중적으로 연구했다. 재학 중에는 스탠퍼드 아시아-태평양 연구소(Walter H. Shorenstein Asia-Pacific Research Center)에서 인간과 AI 상호작용에 따른 사회적 영향 연구에 참여했다.
그 이전에는 국제개발 NGO인 아시아재단(The Asia Foundation) 소속으로 몽골 현지에 파견되어, 기술 접근성 격차 해소와 여성의 디지털 역량 강화, 그리고 마이크로파이낸스 및 기술 창업 프로젝트를 기획하고 운영했다.
국제개발, 정책과 거버넌스, 그리고 AI라는 세 분야를 가로지르는 독특한 경력을 바탕으로, 기술이 초래할 수 있는 위험을 사전에 분석하고, 위해가 발생하기 전 단계에 구조적으로 안전을 설계하는 접근을 추구한다.