수학자가 알려주는 증명의 함정

★『뉴욕 타임스』, 『파이낸셜 타임스』, 『커커스 리뷰』 강력 추천
★『뉴 사이언티스트』 선정, 2025년 '올해의 과학책'

"팩트가 통하지 않는 시대, 우리는 무엇을 믿어야 하는가?"
오류와 편향, 불확실성이 가득한 세상에서
논리와 데이터를 바탕으로 '진실'에 가장 가깝게 다가가는 법

2010년 봄, 아이슬란드 에이야퍄들라이외퀴들 화산의 폭발로 대규모 항공기 운항 중단 사태가 벌어졌다. 수백만 명의 발이 묶인 이 사건은 단순한 자연재해 사건이 아니었다. 각국 정부와 항공사는 화산재가 항공기에 어떤 위험을 초래할지를 두고 저마다 보유한 데이터를 바탕으로 비행의 안전성을 '증명'해야 했다. 어떤 나라는 컴퓨터 시뮬레이션을 통해 화산재의 이동 경로를 측정하고 대응했다. 어떤 항공사는 승객을 태우지 않은 비행기로 직접 시험 운행에 나섬으로써 비행의 안전성을 입증했다. 이후 각종 방법을 통해 데이터가 쌓이고 비행이 위험하다는 인식이 줄어들자 항공사들은 다시 승객을 태우고 비행을 재개할 수 있었다.

이와 같은 상황을 우리는 현실에서 자주 마주친다. 새로운 문제를 맞닥뜨렸을 때, 기존의 이론과 새로 관측되는 결과를 어떻게 해석하고 가늠해야 할까? 직접적인 실험을 통해 새로운 데이터를 얻는 일에 위험이 따른다면, 판단의 근거가 될 새로운 정보를 얻기 위해 어느 선까지 행동해야 윤리적일까? '무엇이 참이다'라는 결론에 이른 후에도 문제는 여전히 존재한다. 그 정보가 옳다는 사실을 다른 사람들도 믿게 하려면 어떤 설득의 전략을 펼쳐야 할까? 우리는 개인적 차원에서부터 사회적 차원에 이르기까지 '옳음을 증명하는 일'에서 벗어날 수 없다.

가령, 법정에서 검사는 사회에 해악을 끼칠 우려가 있는 피의자가 석방되지 않도록 증거를 충분히 모아 판사를 설득해야 한다. 코로나 팬데믹처럼 전염병이 유행할 때 정부가 새로운 백신을 배포하고 접종하려면 그 안전성과 효과를 사회 구성원들에게 충분히 증명해야 한다. 같은 맥락에서 자율주행차 제조사는 소비자들에게 인공지능을 활용한 자율주행이 안전성 측면에서 믿을 수 있다는 증거를 제시해야 한다.

삶은 무엇이 참이고 그게 왜 참인지 우리가 이해하는 것과 놀라울 정도로 간극이 큰 상황으로 가득하다. 이 책은 그 간극에 관한 내용을 담고 있다. 참과 거짓을 분별할 수 있도록 과학자와 사회를 도와 의사결정을 개선하고 위험한 오류를 줄여준 개념에 관한 이야기다. 중세의 배심원에서 근대의 과학혁명에 이르기까지, 사람들이 증거를 모으고 불확실성을 해결하며 증명에 다가갔던 방법에 관한 이야기다. 그리고 결정적으로 그런 방법이 실패했을 때 어떤 일이 일어났는지를 다룬다. (9쪽)

논리적 증명은 단순한 학문적 개념이 아니라
사회적 합의를 구축하는 도구다

역사상 가장 위대한 대통령으로 손꼽히는 에이브러햄 링컨은 당대에 뛰어난 연설가로 명성이 자자했다. 특히 그를 유명하게 만든 것은 1863년 11월, 남북전쟁의 격전지였던 게티즈버그에서 했던 연설이다. '국민의, 국민에 의한, 국민을 위한 정부'를 선언하며 민주주의의 정신을 간결하고도 적절하게 표현해낸 이 연설은 지금까지도 많은 사람에게 인용되며 민주국가의 지향점을 상징하는 하나의 이정표가 되었다. 링컨이 게티즈버그 연설을 할 무렵, 미국은 노예제를 둘러싸고 남부와 북부의 주가 대립하고 있었다.

미국 독립선언문은 '인간은 평등하다'라는 '자명한 진리'로 시작하지만, 당시 미국에 존재했던 노예제는 그런 평등 개념과는 어울리지 않았다. 이는 링컨의 관점에서 '국가적 공리'가 부정된 상황과 다름없었다. 공리란 증명 없이도 자명한 진리로 인정되며, 다른 명제를 증명하는 데 전제가 되는 원리를 가리킨다. 링컨의 위대한 사고는 진실과 현실이 균열을 일으키는 지점에서 빛을 발했다. 그는 그저 '평등은 자명한 진리'라고 말하는 대신, '국민의, 국민에 의한, 국민을 위한 정부'를 선언하며 국가가 제도와 행동으로써 '증명해야 하는 명제'로 재구성했다.

잘 알려지지 않은 사실이지만, 링컨은 고대 그리스 수학자 유클리드의 『원론』을 깊이 파고들며 그 안에 담긴 논리 구조를 체화하고자 노력했다. 그가 대통령이 되기 전, 논리적이고 유려한 변론을 하는 변호사로 유명세를 탄 배경이다. 유클리드는 『원론』을 통해 수많은 정의와 공리로부터 수십 가지 수학적 주장을 입증했다. 『원론』이 증명을 구조화하는 방식은 객관적이었고, 부정할 수 없는 결론으로 이르는 논리적인 경로를 보여주었다. 링컨은 자신의 정치적 적수 스티븐 더글러스와 맞붙을 때마다 『원론』을 통해 체득한 논리를 통해 노예제가 왜 불합리한지를 하나하나 논증해나갔다. 그 결과, 링컨은 '건국의 아버지들이 세운 공리(여기에서는 '평등')'의 개념이 역사의 진보에 기여하는 가치이자 진실임을 입증하고 사람들을 설득하는 데 성공했다. 이처럼 증명의 개념은 수학을 넘어 정치와 법의 영역까지 확장되어 영향을 미쳤다.

인류는 불확실성을 어떻게 다루어왔는가?
명확한 논리의 유클리드적 세계관에서
확률론의 세계로 이동하기까지의 지적 여정

증명은 공리와 명제, 논증의 순수성만으로 해낼 수 있는 것이 아니다. 수학적 확실성을 추구하는 과정에서 인류는 불가피하게 오류를 마주할 수밖에 없었다. 19세기에 이르러 과학은 대격변의 시대를 맞이한다. 지금껏 우리가 사는 세계를 가장 정확하게 설명한다고 믿었던 유클리드적 세계관이 무너지고 비유클리드적 세계관이 등장한 것이다. 가령, 『원론』에서는 아무런 결함이 없던 유클리드의 정리 일부가 구의 표면 위에서는 무너졌다. 쉽게 설명하자면, 구의 표면 위에서 잰 거리는 평평하게 편 종이 위에서 잰 거리와는 반드시 같을 수 없다는 식이다. 세계지도에서 면적이 왜곡된 지역이 나타날 수밖에 없는 이유다.

'전체는 부분보다 항상 크다'라는 명제도 마찬가지다. 현실 세계의 직관에서 이 명제는 늘 참이지만, 독일 수학자 게오르크 칸토어에 따르면, 무한집합에서는 이 명제가 통하지 않는다. 전체의 수가 무한히 확장될 수 있는 구조에서는 부분 역시 무한히 늘어날 수 있기에 전체가 반드시 부분보다 크다고 할 수는 없다. 순수 논리로만 이루어진 수학은 면적의 동등성이나 크기 같은 기초적인 개념조차 합의된 정의로 끌어낼 수 없다는 사실이 명백해졌다. 수학의 공리가 아무리 상세하다고 해도 다룰 수 없는 상황이 현실에서는 반드시 존재했다. 유클리드 기하학은 여전히 참이지만 그것이 '유일한 참'이 아님은 명확해졌다. 실제로 아인슈타인은 일반 상대성 이론을 설명하면서 유클리드 기하학이 아닌 비유클리드 기하학을 사용했는데, 관측 결과 우주의 공간은 유클리드 기하학의 정의를 따르지 않는다는 사실이 밝혀졌다.

증명의 과학은 '유일한 진리'에 대한 믿음을 깨뜨렸다. 학자들은 이제 '단 하나의 진실'보다 어떤 진실이 존재할 '확률'에 집중하기 시작했다. 현대의 과학을 확률의 경쟁이라고 부를 수 있을 만큼 확률은 불확실한 상황에서 합리적으로 행동하기 위한 기준점으로 작용한다. 무작위 대조군 시험, A/B 테스트 등 현대 과학에서 가설을 검증할 때 사용하는 수많은 도구는 확률론과 통계학의 기반 위에 자리한다. 책에서는 확률론과 통계학의 시대가 어떻게 시작되었는지, 이러한 기법이 역학이나 의학, 사회과학 분야에서 어떤 방식으로 적용되었으며 그 효용은 어떠했는지 등이 저자의 흥미진진한 스토리텔링을 통해 펼쳐진다.

코로나 팬데믹이라는 전례 없는 사건 앞에서
인류는 어떻게 불확실성을 뛰어넘고 대응했는가?

- 유클리드 『원론』, 2000년 된 수학 교과서가 민주주의의 사고방식을 만들었다.
- 에이브러햄 링컨, 노예제 반박에 사용된 무기는 도덕이 아니라 유클리드의 논리였다.
- 프로이센 법전, 모든 경우를 규칙으로 덮으려다 오히려 혼란이 커졌다.
- 야프섬 돌 화폐, 돈의 가치는 물건이 아니라 공동체의 합의에 있었다.
- 몬티 홀 문제, 설명을 들어도 사람들은 끝까지 확률을 믿지 않는다.
- 트롤리 문제와 AI, 기계는 인간처럼 선택하지 않으나 우리는 인간의 윤리를 강요한다.

이 책의 하이라이트는 저자가 코로나 팬데믹 당시를 회상하며 팬데믹 초기 사람들이 이 전무후무한 사건을 어떻게 받아들이고, 해석하며, 대응했는지 서술하는 지점이다. 수학자이자 역학자인 저자는 코로나 팬데믹 발병 이전부터 에볼라나 지카 바이러스 등의 아웃브레이크를 비롯해 사회적 행동과 면역이 전염병의 확산과 통제에 미치는 영향을 연구해온 해당 분야의 베테랑이었다. 이러한 커리어 덕분에 그는 코로나 팬데믹 기간에 영국 비상과학자문단(SAGE)으로 활동하며 코로나 19의 확산세를 예측하고, 이에 맞춤한 가장 나은 대응 방안을 영국 정부에 제시하는 핵심적인 역할을 했다.

한 번도 일어난 적이 없거나 아주 드물게 일어나는 일에 확률을 매기는 것은 어려울 수 있다. 사실 우리는 애초에 그런 사건이 일어날 수 있다는 생각조차 잘 하지 않는다. 코로나19 팬데믹 이전에 전염병 하나 때문에 몇 년 동안 국경을 일부 폐쇄하고 전 세계 대부분 지역에서 사람들이 자가 격리를 하게 될 확률이 얼마라고 생각했을까? 그런 사건에 확률을 매길 생각조차 하기는 했을까? 역사는 당시에는 생각하지도 못했거나 알 수 없었던 사건으로 가득하다. 1930년대 중반 핵 공격으로 세계대전이 끝날 확률은 얼마였을까? 이 책을 읽고 있는 지금, 내년에 또 다른 세계 대전이 일어날 확률은 얼마일까? (244쪽)

저자의 회고처럼 코로나 팬데믹 시기, 일군의 사람들은 과학의 최전선에서 조각난 데이터들을 바탕으로 하나의 통합된 지도를 그려나가며 빠르게 백신을 개발하고, 새롭게 나타나는 변이의 위험도를 측정하며, 사회적 거리두기와 마스크 착용 등의 효과를 검증하며 실시간으로 변동하는 상황에 대처했다. 놀라운 점은 같은 상황을 겪으면서도 다른 목소리를 내는 사람들도 있었다는 사실이다. 코로나 팬데믹 시기에 저자는 수많은 사람으로부터 분노에 찬 메시지를 받았다. '당신들이 발표한 코로나19 치명률은 틀렸다, 두 번째 유행에 대한 예측도 틀렸다, 백신이 유용하다는 말도 틀렸다'라는 내용의 무수한 메시지 앞에서 저자는 '어떻게 이렇게 많은 사람이 사실이 아닌 것을 확신하는지, 어떻게 그렇게 많은 증거를 무시하는지' 놀라움을 느꼈다. 저자가 겪은 일련의 경험은 진실을 규명하는 일 자체만큼 그것이 옳은 이유를 타인에게 설득력 있게 증명하는 과정이 중요한 이유를 설명한다. 잘못된 정보가 온라인이라는 고속도로를 타고 쉽게 퍼지며, 알고리즘에 의해 자신이 옳다고 믿는 정보에 더욱 자주 노출되는 확증 편향의 세상에서 우리가 참과 거짓을 분별할 줄 아는 시선을 가져야 하는 이유이기도 하다.

생성형 인공지능의 시대, 딥러닝 AI가 내놓은 답을
우리는 어디까지 믿고 따를 수 있을까?

우리는 제세동이나 전신마취가 효과적이며 많은 사람의 생명을 구했다는 사실을 안다. 하지만 그것이 어떤 메커니즘으로 왜 효과를 발휘하는지는 제대로 알지 못한다. 날개가 비행기를 공중에 띄우는 것도 마찬가지다. 놀랍게도, 눈에 보이는 결과를 논리적으로 완벽히 설명할 방법이 아직은 없다. 이제 시선을 자율주행차로 돌려보자. 많은 사람이 자율주행의 편리함에 감탄하면서도 한편으로는 미묘한 불편함을 여전히 느낀다.

여기서 한 가지 질문이 생긴다. 제세동이나 전신마취, 비행기가 하늘에 뜨는 메커니즘을 정확히 모르면서도 우리는 이런 것들을 의심하지 않고 익숙하게 받아들인다. 하지만 자율주행차에 대해서는 감탄의 시선과 더불어 여전히 불편함과 의심이 존재한다. 그 이유는 무엇일까? 의약품이나 비행기 같은 도구는 전통적인 과학의 세계에 확고히 자리 잡고 있다. 우리는 연구자들이 그와 관련된 생물학적, 화학적, 물리학적 지식을 서서히 밝혀낼 것이라고 확신한다. '증명해낼 수 있을 것'이라는 사회적 믿음이 작동하는 것이다. 하지만 자율주행차, 나아가 인공지능은 우리에게 아직 '미지의 세계'에 가깝다. AI가 작동하는 방식은 블랙박스와 같아서 인간은 그것이 내놓는 편리한 결과를 누릴 수는 있으나 어떤 과정을 거쳐 그러한 결과를 도출했는지는 정확히 알지 못한다.

하지만 우리가 인공지능을 신뢰하려면 그러한 결정을 내리는 과정의 투명성이 꼭 필요할까? 커다란 사고가 벌어지지 않는 한 인공지능이 불투명한 블랙박스 알고리즘을 따르는 데 만족해도 충분하지 않을까? 인간은 보통 증명에 도달한 과정을 설명하는 데는 어려움을 느낄지 몰라도 우아한 증명을 찾아내는 일은 더 쉽게 느끼는데, 앞으로 인류는 이와 같은 인간의 독창성과 직관을 컴퓨터로 구현해낼 수 있을까?

저자는 최근 몇 년 사이 고도로 발달한 인공지능들이 일군 성취들(인간 바둑기사 이세돌을 이긴 알파고, 수많은 단백질의 접힘 구조를 예측한 알파폴드 등)을 소개하며 증명의 과학이 맞이한 새로운 시대에 대한 기대와 우려를 드러낸다. 저자에 따르면, 머지않은 미래에 우리가 인간처럼 개념과 증명을 다룰 수 있는 인공지능을 개발한다면, 그때 비로소 우리는 인간이라는 기계를 더 잘 이해할 수 있을지도 모른다. 한편, "아이작 뉴턴은 거인의 어깨에 서서 더 멀리 볼 수 있었지만, 기계가 인간의 지평선 너머를 보게 되는 날이 오면 과연 누가 그 경관을 즐길 수 있을 것인가?"라며 우려의 시선도 표명한다. 더 나은 인공지능의 성능과 행동을 바란다면, 우리는 인공지능을 훈련시키는 과정에 무엇이 포함되어야 하는지를 고민해야 한다. 모든 것을 인공지능에 맡기기보다는 인간의 판단력과 비판적 사고의 가능성을 신뢰하고, 인공지능이 범할 수 있는 편향과 오류에 휘둘리지 않을 수 있는 능력을 길러야 한다.

과학·정치·철학·경제의 경계를 넘나들며
진실이 드러나는 과정을 치밀하게 탐구한 논픽션 수작!

「수학자가 알려주는 증명의 함정」은 고대 유클리드 기하학의 시대에서부터 인공지능이 인간 삶 전반에 깊숙이 침투한 현대에 이르기까지 '증명의 역사'가 어떻게 발전해왔는지 조망한다. 과학이 발전해온 역사는 궁극적으로는 '무엇이 옳은지를 증명'해온 과정이나 다름없다. 또한, 인류가 지금까지 구축한 문명은 '옳음에 대한 합의'가 변화하고 새롭게 정의되어온 과정이기도 하다.

저자의 스토리텔링을 따라 그 과정을 차근차근 따라가다 보면, 독자들은 통계와 데이터가 현실에서 어떻게 옳게 사용되거나 악용되는지, 어떤 주장은 왜 더 설득력이 있어 보이는지, 알고리즘과 인공지능을 과연 신뢰할 만한지 등 이 시대를 살며 꼭 던져야 하는 질문들에 대한 답을 찾아나갈 수 있다. 논리적 사고와 비판적 사고를 기르고 싶은 독자, 인문학과 과학의 경계를 넘나들며 지식의 크로스오버가 주는 지적 즐거움을 만끽하고 싶은 독자라면 꼭 읽어봐야 할 교양서다.

들어가며

1장 유클리드에서 독립선언까지, 국가적 공리의 균열
2장 논리가 수학적 괴물을 만들다
3장 죄인 100명 vs 무고한 한 명, 정의의 거울은 어디로 기우는가?
4장 차 시음과 맥주 양조, 우연이 낳은 통계의 규칙
5장 패러다임이 흔들릴 때, 불확실성의 과학
6장 거짓의 사다리, 반복이 진실이 되는 순간
7장 기계의 증명, 설명 없는 정답을 믿을 수 있을까?
8장 불확실성 속에서 얼마나 손해를 감수할 것인가?

감사의 글
주

애덤 쿠차르스키 (Adam Kucharski)
영국의 저명한 수학자이자 역학자로 런던 위생열대의학대학원의 교수다. 수학적 모델링으로 태평양에서 남아메리카에 이르는 지역의 에볼라, 지카 바이러스 아웃브레이크와 사회적 행동, 면역이 전염과 통제에 미치는 영향을 연구했다. 또한 영국 비상과학자문단(SAGE)으로 활동하며 코로나 팬데믹 기간 동안 코로나19의 확산세를 예측하고 이에 걸맞은 대응책을 영국 정부에 제시하는 역할을 했다. 2012년에는 『가디언』과 『옵서버』가 뛰어난 과학 저술에 수여하는 웰컴 트러스트 과학저술상을, 2016년에는 로잘린드 프랭클린 어워드를 수상했다.
저서로는 『수학자가 알려주는 전염의 원리』, 『수학자는 행운을 믿지 않는다』가 있다. 특히 『수학자가 알려주는 전염의 원리』는 수학과 역학에 대한 쿠차르스키의 지식이 총망라된 책으로 『타임스』, 『파이낸셜 타임스』, 『워싱턴 포스트』, 『가디언』에서 2020년 올해의 책으로 선정됐다. 『타임스』, 『옵서버』, 『파이낸셜 타임스』, 『와이어드』, 『블룸버그』, 『사이언티픽 아메리칸』, 『뉴 사이언티스트』 등 여러 매체에 역학과 수학적 모델링에 대해 기고했으며, BBC의 「호라이즌」을 포함한 여러 다큐멘터리에도 참여했다.
ㆍ 저자 홈페이지 kucharski.io