스토아 철학과 인공 지능 기술의 통제(우리시대 질문총서 23)

주요 논지와 목표

이 책은 주로 ICT와 AI 기술의 CCT-WB를 주로 검토하는 데 초점이 맞추어진다. 여기서 ICT와 AI 기술은 인류에게 현재 가장 큰 선 또는 가장 큰 해악을 끼칠 잠재성을 가지고 있는 가장 두드러지고 영향력 있는 두 가지 유형의 기술이다. 이 책은 이 일반적인 두 유형의 기술의 CCT-WB를 규범적으로 평가함으로써, 이 기술들이 제기하고 있는 핵심적이고 일반적인 규범 문제와 관련된 일부 패러다임 사례 연구에 적용된 DOIT-지혜를 적용하여, 사회에 대한 실제적이거나 잠재적인 인식론적, 윤리적, 에우다이모니아적 영향을 파악하고자 한다. 몇 가지 핵심 사례 연구는 이 기술들의 규범 문제를 확인하고, 설명하며, 맥락을 파악하는 데 도움이 된다.
ICT 기술의 경우, 이 책에서 검토되는 핵심적인 규범 문제는 프라이버시, 투명성, 책임성, 불투명성, 진실과 신뢰 그리고 정보의 부패이다(Spence 2021, 2017). 케임브리지 애널리티카(Cambridge Analytica)와 페이스북의 프라이버시 침해와 사용자의 동의 부족이라는 스캔들, 2016년 영국 브레시트 국민투표와 미국 대선에 대한 불법 선거 개입은 프라이버시 침해뿐만 아니라 가짜 뉴스, 대체 사실(alternative facts.)*, 탈진실로 악명 높은 잘못된 정보와 허위 정보의 보급과 관련된 대표적인 사례이다. 이것은 언론에 대한 불신과 공공의 관심사에 대한 진실된 정보를 대중에게 전달하는 능력에 대한 불신을 초래했으며, 정치, 사법, 제4의 권력(4th Estate)인 언론 기관을 포함해서 정부에 대한 불신을 낳았다. 결과적으로 민주주의 자체가 훼손되었다. 이 특별한 사례와 그것과 유사한 다른 사례들, 예를 들어 그에 앞서 영국의 뉴스 오브 월드(News of the World) 스캔들**의 사례에서, 인식적, 윤리적, 에우다이모니아적인 세 가지 규범적 측면이 모두 훼손되었고, 개인과 집단 사회의 잘삶에 부정적인 영향을 미쳤다는 사실은 분명하다.
AI 기술의 경우 1997년 세계 체스 챔피언 카스파로프(Kasparov)를 이긴 아이비엠(IBM)의 딥 블루(Deep Blue), 2011년 게임 제퍼디!(Jeopardy!)에서 세계 챔피언들을 이긴 아이비엠의 왓슨(Watson), 가장 최근에는 2016년 바둑 게임에서 세계 챔피언을 이긴 딥마인드(DeepMind)의 알파고(AlphaGo) 등 일련의 성공은 머신러닝, 딥러닝, 신경망에서의 거대한 성공을 통하여 빠르게 발전해왔다. 이로 인해 무인 자동차, 자율 무기, 의료 및 보건 서비스 분야에서의 다양한 애플리케이션에서 고도의 지능을 가진 자율 AI의 사용과 관련된 이점과 위험에 대한, 그리고 가장 중요하게는 초지능 AI 에이전트가 인류에게 초래할 수 있는 잠재적인 실존적 위험에 대한 전 세계적인 논쟁이 시작되었다(Nick Bostrom 2015, Max Tegmark 2018, Stuart Russell 2019, 그리고 Elon Musk와 고 Stephen Hawking을 비롯한 여러 AI 연구자가 표현한 우려).
앞서 논의한 ICT 기술의 경우에서처럼, AI 기술의 CCT-WB의 평가는 스토아 철학의 중요한 비판적 관점하에서 DOTT-지혜 모델을 AI 기술의 인식적, 윤리적, 에우다이모니아적인 핵심 문제와 그것들이 사회와 글로벌 공동체의 잘삶에 미치는 영향을 확인하고 평가하는 데 적용함으로써 이루어진다. 프라이버시, 정확성, 투명성, 불투명성, 자율성, 책임성 및 동의는 ICT 기술의 경우에서처럼 AI의 기술의 경우에도 이 기술들이 악화시키는 것처럼 보이는 문제 거리가 된다. 예를 들면, AI 기술을 통한 안면 인식 및 프로파일링의 사용은 어떤 경우에는 부정확한 인종 프로파일링으로 인해 일부 그룹의 사람들에 대한 경찰의 오인을 낳고, 이로 인해 미국에서 범죄 용의자로 의심되는 아프리카계 미국인의 비율을 높인다. 다시 말하면, 이러한 특정 유형의 규범 문제에 DOIT-지혜 모델을 적용해보면, 이런 기술들을 무차별적이고 부정확한 사용으로 인해 인식적, 윤리적, 에우다이모니아적인 이 세 가지 규범 원리가 부정적인 영향을 받는다는 사실이 확인된다.
AI 기술에 적용되는 규범 문제의 이러한 일반 유형들 외에도, 가장 문제가 되는 것은 불가해성과 통제라는 이중적 상호 관련 문제로, 이 문제는 그렇게 머지않은 미래에 지능에서 우리를 앞지르고, 그것들의 통제 아래에 우리가 놓이게 됨으로써 우리 자신의 실존에 대한 잠재적 위험이 야기되는 초 지능적 자율 AI 에이전트를 과연 우리가 통제할 수 있는가에 관한 형이상학적이고 실존적인 우려를 제기한다(Bostrom 2015, Tegmark 2018, Russell 2019).
머신러닝과 신경망의 사용을 통해 결과를 산출하는 AI 체계의 불가해성이라는 현재의 문제는 이 결과에 도달하는 과정이 투명하지 않고, AI 과학자 자신은 물론, 최종 사용자도 이 결과와 결과가 현재나 미래에 사회에 미치는 영향을 이해하지 못한다는 것이다. 불가해성 문제는 결국 통제 문제와 연결된다. 왜냐하면 이러한 AI 체계의 불투명성과 투명성 결여로 인해 이러한 체계가 잠재적으로 통제되지 않고, AI 초지능이 갑자기 예측할 수 없는 폭발을 일으키는 경우 그러한 체계를 통제하려는 모든 시도가 그것에 압도될 가능성이 작지 않기 때문이다. AI는 인류의 생존에 심각한 실존적 위험을 초래할 수도 있다. 다시 말해서, 우리는 이 형이상학적 AI 문제가 DOIT-지혜 모델을 사용하는 규범적 분석의 대상이 된다는 사실을 알 수 있다. 즉 이 모델을 통해 우리는 사회에 미치는 잠재적 영향, 즉 인식적 영향(투명성 결여 및 인식적 불투명성과 불가지성), 윤리적 영향(인간에 유해함), 에우다이모니아적 영향(사회적 잘삶에 대한 주요 부정적 영향, 잠재적으로 인류의 절멸에 이르는 영향)을 미리 확인하고 예상할 수 있다.
규범적 이론적 완전성 외에도 3중의 DOIT-지혜 모델을 사용하는 일이 갖는 이점은 그 모델이 상승적 규범 계층 구조, 즉 윤리적인 것과 에우다이모니아적인 것이 인식적인 것보다 우선하는 계층 구조에서 서로를 연관 지어 비교 위험 분석을 제공한다는 사실이다. 왜냐하면 기술이 단지 그것만으로 좋은 것일 수 없으며, 인류를 위해 좋은 것이라는 점을 고려한다면, 설령 AI 적용이 더 큰 도구적, 인식적인 가치를 낳지만, 사회에 미치는 윤리적, 에우다이모니아적인 측면에서 부정적 영향이 더 높아도 결과적으로 모든 것이 같다면, 윤리적, 에우다이모니아적 고려가 도구적, 인식적 고려보다 항상 우선시되어야 하기 때문이다. 예를 들어, 신경망을 사용하는 AI 적용은 훨씬 더 높은 인식적 정확성을 가진 결과를 산출하지만, 더 높은 정도의 불확실한 결과도 산출한다. 이때 더 높은 정도의 불확실성은, 그러한 결과에 이르는 근거가 숨겨진 채로 있고, 인간 매개와 감독에 대해 투명하지 않다면, 잠재적으로 사회에 부정적인 윤리적, 에우다이모니아적 결과를 초래할 수 있다.
이 책의 다른 중심적이고 중요한 논지는 앞서 언급했듯이, 위에서 살펴본 ICT와 AI 기술이라는 두 가지 주요한 주제를 분석하고 평가하는 데 스토아 철학과 신스토아 철학(통칭하여 스토아 철학으로 지칭)을 활용하고 적용하는 것이다. 이러한 접근 방식의 근거는 스토아 철학, 특히 덕을 통한 에우다이모니아의 달성에 초점을 맞춘 스토아 윤리학이 이 책에서 수행하는 ICT와 AI 기술의 에우다이모니아적 평가와 특별히 관련을 맺는다는 것이다. 왜냐하면 잘삶에 미치는 기술의 인식적, 윤리적, 에우다이모니아적 영향을 평가하기 위해 이 책에서 사용된 DOIT-지혜 모델은 합리론 윤리학과 덕 윤리학의 협력을 통해서 스토아 철학의 운영 및 적용과 이론적, 실천적으로 유사할 뿐만 아니라 이것들과 밀접한 관련이 있도록 설계되어 있기 때문이다(Spence, E. 2016와 Spence, E. 2006).
이 책에서 방법론적으로 추구된 스토아 철학의 한 가지 중심 측면은 통제의 문제이며, 이것은 앞서 설명한 것처럼 ICT 및 AI 기술 모두에서 생겨나는 핵심 문제이다. 왜냐하면 통제 개념은 스토아 철학의 중심 특징이기도 하며, 그러므로 개념적으로나 방법론적으로, 두 가지 관련 기술에서 드러나는 통제 문제의 유용한 개념적 분석과 평가를 제공하는 일에 있어 중요하기 때문이다. 에픽테토스(Epictetus)는 다음처럼 말하고 있다.

어떤 것들은 우리에게 달려 있는 것들이고, 다른 어떤 것들은 우리에게 달려 있는 것들이 아니다. 우리에게 달려 있는 것들은 믿음, 충동, 욕구, 혐오, 한마디로 말해 우리 자신이 행하는 그러한 모든 것이다. 반면에 우리에게 달려 있지 않은 것은 육체, 재산, 평판, 지위, 한마디로 말해 우리 자신이 행하지 않는 그러한 모든 일이다(『에픽테토스의 편람』(The Handbook of Epictetus), 제1장).

요약해보자. 스토아학파에 따르면, 우리는 인간의 에우다이모니아를 위해 필요하고도 충분한, 그 자체 유일하게 참된 선인 우리의 덕(용기, 절제, 정의, 사려 또는 실천적 지혜)을 발전시키는 데에만 관심을 두어야 한다. 기술의 핵심 측면이 위에서 설명되고 있는 이른바 우리의 통제 바깥에 놓인다면, 스토아의 윤리적 방법론 안에는 우리에게 적어도 두 가지 선택지가 열려 있다. 첫 번째 선택지는, AI 자율 체계의 정확성, 투명성, 프라이버시, 불가해성, 그리고 궁극에 가서는 그것의 통제는 우리의 통제를 넘어서므로, 이것들을 무시하거나 우리의 잘삶이나 에우다이모니아에 필요하지 않은 선호된 무관심사(preferred indifferents)로 다루어야 한다는 것이다. 왜냐하면 우리는 그것들을 통제할 수 없기 때문이다. 두 번째 선택지는, 정확하게 말해서 이러한 기술이 우리 삶의 인식적, 윤리적, 에우다이모니아적 측면들에 대해 잠재적으로 해로운 영향을 미칠 수 있으므로, 우리는 이런 기술을 인간의 사회적 통제 아래에 두기 위해 노력해야 한다는 것이다. 만약 그렇게 하지 않을 경우 우리의 사회적 잘삶은 위험에 처하기 때문이다.
에우다이모니아 또는 잘삶이 스토아 철학의 주요 관심사라는 점을 고려할 때, 기술의 현재 통제할 수 없는 측면들을 우리의 사회적 통제의 범위 안으로 끌어들이는 두 번째 선택지를 채택하는 것은 합리적이고 지혜로운 선택이다. 왜냐하면 그렇지 않다면 우리의 집단적 잘삶은 위험에 처하기 때문이다. 그리고 이 책이 추구하는 것은 바로 이 선택지이며, 이 선택지는 또한 사례 연구를 통해 ICT와 IC 기술에서 발생하는 핵심적 규범 문제를 상세하게 평가하는 데 DOIT-지혜 모델을 적용하는 것을 제안하는 것과 같은 것이다.


각 장의 개요

제2장: 기술은 무엇에 좋은가?
기술은 인류 사회에 유익하지 않다면 그 자체로 가치가 없으므로, ICT와 AI 기술이 잘삶에 미치는 긍정적, 부정적 영향을 설명하는 그리고 잘삶의 측면에서 기술의 영향을 평가해야 할 필요성에 대한 동기를 설정하는 몇 가지 핵심 사례 연구에 대한 개관

제3장: 스토아 철학과 신스토아 철학
이 장은 스토아 철학을 기술이 잘삶에 미치는 영향에 대한 규범적 평가를 안내하는 이 책의 중요하고 독특한 특징으로서 도입한다. 또한 이 장은 잘삶과 에우다이모니아 개념과 관련해서 이 책이 탐구하는 본질적인 요소인 신스토아적 관점에서 합리론 윤리학과 덕 윤리학을 소개한다(Spence, E. 2016; Spence, E. 2006).

제4장: 스토아 철학을 기술에 적용함
이 장은 스토아 철학과 신스토아 철학이 어떻게 기술에, 특히 ICTs와 AI 기술에 적용되는지를 검토한다. 편의상 달리 진술되지 않는 한, 나는 이 기술을 통칭하여 "기술"로 지칭할 것이다. 이 장은 세 부분으로 구성된다. ⑴ 스토아 철학과 기술의 핵심 문제, ⑵ 스토아 철학의 핵심 원리와 그것이 기술에 적용되는 방식, ⑶ 스토아 철학이 기술의 규범적 평가와 관련성이 있는 이유 그리고 그런 평가에 중요한 이유

제5장: 지혜와 잘삶: 이중 의무 정보-지혜 이론
이 장은 DOIT-지혜 모델의 세 가지 상호 연관된 구성 요소인 인식적, 윤리적, 에우다이모니아적 관점에서 ICT와 AI 기술의 영향을 규범적으로 평가하는 데 있어 이 모델의 이론적 근거와 적용을 상세하게 설명한다(Elliott and Spence 2018; Spence 2011 및 2009). 이 장의 핵심 측면은 3중의 인식적, 윤리적, 에우다이모니아적 가치로서의 지혜 개념이며, 이 개념은 정보와 잘삶을 개념적, 규범적으로 연결한다.

제6장: 정보화 시대의 기술 미디어 부패
이 장은 페이스북과 구글의 일부 관행이 어떻게 사회적 잘삶과 민주적 제도를 모두 훼손하는 체계적인 기술 미디어 부패와 정보 부패(Spence, Edward H. 2020, 2017)를 이루는지를 검토한다.

제7장: ICT 기술이 잘삶에 미치는 규범적 영향
이 장은 페이스북, 구글과 같은 ICT 기술이 잘삶에 미치는 규범적 영향을 상세하게 검토하고 평가한다. 검토된 문제는 프라이버시, 투명성, 정확성, 진실과 신뢰이며, 그리고 핵심 사례 연구를 통해 이 문제를 설명하고 맥락화하는 것이다.

제8장: AI 기술이 잘삶에 미치는 규범적 영향
이 장은 AI 러닝머신과 신경망 알고리즘의 두 가지 주요 문제, 즉 불가해성 또는 블랙박스 문제와 통제 문제에 대한 면밀한 분석을 통해 AI 기술이 잘삶에 미치는 영향을 검토하고 평가한다. 또한 이 장은 이 두 가지 문제에 대한 가능한 해결들, 그중 일부는 AI 연구자들에 의해 제안된 해결을 제안한다. 이 두 문제가 제기하는 핵심 우려는 투명성이 없다면 책임성이 없고, 책임성이 없다면 사회에 잠재적으로 부정적이고 해로운 영향에 관해 AI 체계를 감시하고 통제할 규범적 방법이 없다는 것이다. 또한 이 장은 불투명성 또는 통제의 부족으로 인해 AI가 잘삶에 미치는 부정적 영향의 위험을 예방하거나 적어도 최소화하기 위한 사전 예방적 규범 통제의 개념을 소개한다.

제9장: 스마트 기계와 지혜로운 사람: 누가 통제하는가?
이 결론을 맺는 장은 ⒜ 기술이 인간의 잘삶에 미치는 부정적이고 해로운 영향을 예방하거나 적어도 최소화하는 목표, ⒝ 현재와 미래에 인류의 전반적인 에우다이모니아적 이익을 위해 기술의 설계와 사용을 높이는 목표와 함께, 특히 ICT와 AI의 설계와 사용에 대한 에우다이모니아적 스토아 입장과 인문주의적 접근법의 채택을 검토하고 그런 채택에 관한 논변을 편다.

차 례

발간사 6
감사의 말씀 9

제1장 서론: 누가 통제하는가? 11
제2장 기술은 무엇에 좋은가? 25
제3장 스토아 철학과 신스토아 철학 45
제4장 스토아 철학을 기술에 적용함 93
제5장 지혜와 잘삶: 이중 의무 정보-지혜 이론 113
제6장 정보화 시대의 기술 미디어 부패 153
제7장 ICT 기술이 잘삶에 미치는 규범적 영향 189
제8장 AI 기술이 잘삶에 미치는 규범적 영향 227
제9장 스마트 기계와 지혜로운 사람: 누가 통제하는가? 289

미주 359
참고문헌 380
색인 397

에드워드 H. 스펜스 EDWARD H. SPENCE
호주 시드니 대학교 철학 박사 출신으로, 도덕철학과 인식론, 컴퓨터 윤리, 기술 윤리, 정보 윤리 분야의 응용 및 실천 윤리를 전공했다. 응용철학 및 공공윤리 센터(CAPPE)의 선임 연구원, 호주 시드니 대학교 철학과 연구원으로 재직하였고, 미국 실천 및 직업윤리협회(APPE) 집행위원회 위원, 호주 직업 및 응용윤리협회(AAPAE) 집행위원회 위원도 지냈다. 저서로는 『정보화 시대의 미디어 부패』, 『기술 시대의 좋은 삶』, 『미디어·시장·도덕·디지털 미디어를 위한 새로운 윤리』 등 다수가 있다.