핸즈온 파이썬을 이용한 설명가능한 AI(XAI)

최근 지난 10여년간 딥러닝을 필두로 하는 인공지능 연구는 지속적으로 깊고 넓은 구조로
확장되어 분류와 예측의 정확성을 높이는데 초점을 맞춰 왔습니다. 하지만 몇 년 전부터 연구자들은 이러한 인공지능의 예측성능에 의심을 품기 시작했습니다. '인공지능이 왜 이런
결정을 했을까? 무슨 근거로 이렇게 판단했을까? 혹시 판단에 오류는 없을까?'하는 필연적
인 질문들을 하기 시작했습니다. 단순하게 '개'와 '고양이'를 구분하는 것이라면 문제가 없겠지만 질병을 예측하거나 신용도 평가 문제, 심지어는 군인들에게 명령을 내리는 문제라면 더욱더 인공지능의 판단 결과에 대한 설명이 필요합니다. 지금까지의 인공지능 알고리즘들은 불친절하게 예측 결과만 알려주었지 결과에 대한 이유를 설명해주지 않았습니다.
인공지능에 설명을 부여하기 위한 '설명가능한 인공지능(eXplainable AI, XAI)'의 본격적인 연구는 2017년 미국방연구원(Defense Advanced Research Projects Agency, DARPA)에서 시작한 프로젝트로 볼 수 있습니다. DARPA에서는 설명가능한 인공지능의 요건으로 '높은 학습 성능을 유지하면서도 모델 자체가 설명 가능해야 하고, 인간이 쉽게 이해하고 신뢰하며 효과적으로 시스템을 관리할 수 있도록 지원해야 한다'라고 규정하고 있습니다. 전통적으로 머신러닝을 연구했던 연구자(fatml.org)들은 XAI라는 용어보다는 '해석가능한 머신러닝(Interpretable Machine Learning)'이라는 용어를 더 선호하며 '인공지능 알고리즘 결정과 이러한 결정을 주도하는 모든 데이터가 비기술적 용어로 최종 사용자 및 기타 이해 관계자에게 설명될 수 있어야 한다.'라고 정의하고 있습니다.
설명가능한 인공지능은 인공지능기술의 발전 방향을 새롭게 제시하고 있습니다. 공정과 정
의라는 키워드가 가장 중요한 가치관인 MZ 세대에게는 정답만 알려주는 현재의 인공지능
기술은 오히려 또 다른 불공정 이슈가 될 수 있습니다. 따라서 설명가능한 인공지능에는 데이터 분석을 통한 예측의 정확성 뿐만 아니라, 사용된 데이터와 모델의 투명성, 윤리성,

결과에 대한 신뢰성, 프라이버시, 공정성이라는 다양한 항목이 고려되어야 합니다.
이러한 필요에 따라 최근 설명가능한 인공지능에 관한 연구들이 점차 늘어나고 있습니다.
하지만 일반 학습자들이 설명가능한 인공지능을 기초부터 중급 수준까지 공부할 수 있는 도서는 많지 않습니다. 본 도서는 설명가능한 인공지능을 공부하고 싶었던 학생 또는 연구자들이 어떻게 딥러닝과 머신러닝에 XAI를 접목할 수 있을지 가이드 해 주는 입문서이자 이 분야의 전문가가 되기 위한 디딤돌이 될 수 있습니다. 본인이 인공지능을 처음 접한다고 해서 겁낼 필요는 없습니다. 본 도서의 저자는 매 장을 소설을 읽는 것처럼 사례를 들어 쉽게 설명하고 있고, 그 내용을 오픈 소스를 통해 구현하도록 하여 독자가 충분히 이론과 프로그램 코딩 능력을 높일 수 있도록 배려하고 있기 때문이죠.
이 책은 내용이 많으므로 독자들이 중간에 포기할 수도 있습니다. 하지만 인내심을 갖고 맨 처음 책장을 폈을 때의 결심으로 다시 도전해 보십시오. 매 장을 끝낼 때마다 '설명가능한 본인만의 지식'을 체감할 수 있을 겁니다. 만약 여러분이 딥러닝이나 머신러닝에 대한 어느 정도 이해가 있다고 한다면 처음부터 모든 장들을 볼 필요는 없습니다. 필요할 때마다 해당하는 장의 내용을 참조하는 것도 좋은 방법입니다.
이 책은 주로 데이터사이언스, 빅데이터 측면에서 설명가능한 인공지능의 이론과 실습을
진행하고 있습니다. 만약 영상이나 음성에도 설명가능한 인공지능을 접목하고 싶다면 arxiv
에 키워드로 'XAI'를 입력해 보십시오. 수많은 논문이 검색되겠지만 논문을 겁내할 필요가
없습니다. 이 책을 마스터한 당신은 이미 '설명가능한 인공지능'을 설명할 준비가 되어있기
때문이죠.

■ 저자 머리말

오늘날의 AI 시대에서, AI 결과를 정확하게 해석하고 전달하는 것이 중요한 기술이 되고
있기에 반드시 숙달해야 할 필요성이 있다. 인공지능은 종종 인간의 이해를 넘어선다. 따라
서, 머신러닝 모델의 결과는 종종 입증하기 어렵고 때로는 설명하는 것이 불가능하다. AI에
의해 내려진 결정에 대한 이유와 방법을 설명하라는 요청을 받으면, 운영자와 개발자 모두
어려움에 직면하게 된다. AI 설계자가 수백 개의 머신러닝 및 딥러닝 모델을 위한 하나의
설명가능한 AI 솔루션을 설계하는 것은 불가능한다. AI 통찰력을 비즈니스 관계자에게 효
과적으로 전달하려면 개별적인 계획, 설계 및 시각화 선택이 필요하다. 유럽 및 미국 법률
은 결과를 설명할 수 없을 때, 소송할 수 있도록 문을 열어 두었지만, 개발자들은 직면한 엄청난 양의 데이터를 가지고 실제 구현으로 이어지기 때문에, 적절한 도구없이 설명을 찾기는 거의 불가능한다.
이 책에서 신뢰할 만한 AI 결과를 시각화, 설명 및 통합을 통해 비즈니스 가치를 제공하는
파이썬의 도구와 기술을 배우는 동시에, AI 편향 및 윤리와 관련된 일반적인 문제들을 피하는 방법에 대해 학습하게 될 것이다.
이 책 전반에 걸쳐, 파이썬 및 텐서플로우 2.x에 있는 파이썬 머신러닝 실습 프로젝트 통해
작업하게 될 것이다. WIT, SHAP, LIME, CEM 및 기타 핵심 설명가능한 AI 도구들을
사용하는 방법에 대해 배우게 될 것이다. IBM, Google, Microsoft 및 기타 앞선 기술을 가진 AI 연구소에서 설계한 도구들을 살펴볼 것이다.
머신러닝 프로젝트 전체 과정에서 사용할 수 있는 오픈 소스로 구현된 파이썬을 이용한 설
명가능한 AI 도구들에 대해 소개할 것이다. 이제부터 머신러닝 모델 결과의 분석, 영향을
주는 주요 변수 및 변수 관계의 검토, 편향 및 윤리 문제를 일으킬 수 있는 여지의 감지, 파이썬을 이용하여 설명가능한 사용자 인터페이스에서 머신러닝 모델 시각화를 예측과 통합하여 지원하는 방법에 대해 배우게 될 것이다.
파이썬 및 텐서플로우 2.x를 이용하여 XAI 솔루션을 구축해볼 것이고, 구글 클라우드의
XAI 플랫폼 및 구글 Colaboratory를 사용할 것이다.

목차 XVII
역자의 말 Ⅴ
머리말 Ⅶ
1장 파이썬으로 설명하는 AI
1.1 설명가능한 AI 정의 5
1.1.1 블랙박스 모델에서 XAI 화이트 박스 모델로의 전환 7
1.1.2 설명 및 해석 8
1.2 설계 및 추출 9
1.2.1 XAI 집행 기능 9
1.3 XAI 의료 진단 일정 13
1.3.1 일반적인 의사가 사용하는 표준 AI 프로그램 14
1.3.2 웨스트 나일 바이러스 - 생사와 관련된 사례 23
1.3.3 구글 위치 기록을 이용하여 XAI가 생명을 구할 수 있다 31
1.3.4 구글 위치 기록 내려받기 31
1.3.4 구글 위치 기록 데이터를 읽고 표시하기 37
1.4 요약 58
1.5 질문 59
2장 AI의 편향 및 윤리를 위한 화이트 박스 XAI
2.1 자율 주행 자동차의 AI 편향에 대한 도덕성 65
2.1.1 생사가 걸린 자동조종 장치의 의사결정 65
2.1.2 트롤리 문제 66
2.1.3 MIT Moral Machine 실험 67
2.2.4 생사가 걸린 실제 상황 68
2.2.5 윤리적 AI의 도덕적 한계 70
2.2 자동조종 장치의 의사결정 트리에 대한 표준 설명 73
목차 XVIII
2.2.1 SDC 자동조종 장치의 딜레마 73
2.1.2 모듈 가져오기 74
2.1.3 데이터 셋 가져오기 75
2.1.4 데이터를 읽고 분할하기 76
2.1.5 의사결정 트리 분류기에 대한 이론적인 설명 78
2.1.6 내정된 값을 이용한 의사결정 트리 분류기 생성하기 80
2.1.7 모델 훈련, 측정 및 저장하기 82
2.1.8 의사결정 트리 출력하기 84
2.3 자동조종 장치의 의사결정 트리에 적용된 XAI 88
2.3.1 의사결정 트리의 구조 88
2.4 XAI와 윤리성을 이용하여 의사결정 트리 제어하기 95
2.4.1 모델 불러오기 96
2.4.2 정확도 측정 96
2.4.3 실시간 사례 시뮬레이션하기 97
2.4.4 노이즈로 인한 ML 편향 반영해 보기 97
2.4.5 ML 윤리 및 법 적용하기 100
2.5 요약 104
2.6 질문 104
3장 패싯(Facet)을 이용한 머신러닝 설명하기
3.1 패싯 시작하기 110
3.1.1 Google Colaboratory의 패싯 설치하기 111
3.1.2 데이터 셋 검색 111
3.1.3 데이터 파일 읽어 오기 112
3.2 Facets Overview 113
3.2.1 데이터 셋의 특징 통계 생성하기 113
3.3 패싯 통계 결과 정렬하기 116
3.3.1 특징 순서대로 데이터 정렬하기 116
3.3.2 불균일도로 정렬하기 117
3.3.3 알파벳 순으로 정렬하기 122
3.3.4 missing/zero의 양으로 정렬하기 123
목차 XIX
3.3.5 분포간 거리로 정렬하기 123
3.4 Facets Dive 125
3.4.1 Facets Dive 출력 코드 작성하기 126
3.4.2 데이터 포인트의 레이블 정의하기 128
3.4.3 데이터 포인트의 색상 정의하기 129
3.4.4 x 축과 y 축의 비닝 정의하기 130
3.4.5 x 축과 y 축의 산점도 정의하기 132
3.5 요약 134
3.6 질문 135
4장 SHAP을 이용한 Microsoft Azure Machine
Learning Model Interpretability
4.1 SHAP 소개 140
4.1.1 SHAP 원칙의 핵심 141
4.1.2 Shapley 값의 수학적 표현 144
4.1.3 감정 분석 예제 147
4.2 SHAP 시작하기 153
4.2.1 SHAP 설치하기 153
4.2.2 데이터 가져오기 154
4.2.3 데이터 셋 추출하기 155
4.2.4 데이터 셋 벡터화 하기 162
4.3 선형 모델 및 로지스틱 회귀 164
4.3.1 선형 모델 생성, 훈련 및 출력의 시각화 164
4.3.2 선형 모델 정의하기 167
4.3.3 SHAP을 이용하여 설명하는 불가지론적 모델 170
4.3.4 선형 모델 설명자 생성하기 170
4.3.5 그래프 함수 생성하기 170
4.3.6 모델의 예측 결과 설명하기 173
4.4 요약 183
4.5 질문 184
5장 설명가능한 AI 솔루션 처음부터 구축하기
5.1 도덕적, 윤리적 및 법률적 관점 190
5.2 미국 인구조사 데이터 문제 191
5.2.1 pandas를 이용하여 데이터 표시하기 192
5.2.2 도덕적 윤리적 관점 195
5.3 머신러닝 관점 202
5.3.1 Facets Dive로 훈련 데이터 출력하기 202
5.3.2 패싯으로 훈련 데이터 분석하기 205
5.3.3 예상 결과 확인 209
5.3.4 입력 데이터 변환 217
5.4 변경된 데이터 셋을 적용한 WIT 220
5.5 요약 228
5.6 질문 229
6장 구글의 What-If Tool(WIT)을 이용한 AI 공정성 평가
6.1 윤리적 AI 관점에서의 해석가능성 및 설명가능성 234
6.1.1 윤리적 관점 235
6.1.2 법률적 관점 236
6.1.3 설명하기 및 해석하기 236
6.1.4 윤리적인 데이터 셋 준비하기 237
6.2 WIT 시작하기 240
6.2.1 데이터 셋 가져오기 242
6.2.2 데이터 전처리하기 243
6.2.3 모델 훈련 및 테스트를 위한 데이터 스트럭쳐 생성하기 245
6.3 DNN 모델 생성 246
모델 훈련하기 249
6.4 SHAP 해설자 생성하기 249
Shapley 값의 그래프 250
6.5 모델 출력 및 SHAP 값 250
6.6 WIT 데이터 포인트 탐색기 및 편집기 254
목차 XX
6.6.1 WIT 생성하기 254
6.6.2 데이터 포인트 편집기 256
6.6.3 특징 259
6.6.4 성능 및 공정성 260
6.7 요약 268
6.8 질문 269
7장 설명가능한 AI 챗봇을 위한 파이썬 클라이언트
7.1 Dialogflow를 위한 파이썬 클라이언트 275
7.1.1 구글 Dialogflow를 위한 파이썬 클라이언트 설치하기 276
7.1.2 구글 Dialogflow 에이전트 생성하기 276
7.1.3 API 및 서비스 활성화하기 279
7.1.4 구글 Dialogflow 파이썬 클라이언트 283
7.2 구글 Dialogflow 파이썬 클라이언트 개선하기 286
7.2.1 대화 함수 생성하기 287
7.2.1 Dialogflow에서 XAI 구현과 관련된 보안 사항 288
7.2.3 Dialogflow에서 인텐트 생성하기 288
7.2.4 XAI 파이썬 클라이언트 296
7.3 구글 Dialogflow를 이용한 CUI XAI 대화 302
7.3.1 웹사이트를 위한 Dialogflow 통합 303
7.3.2 주피터 노트북 XAI 에이전트 관리자 307
7.3.3 구글 어시스턴트 307
7.4 요약 310
7.5 질문 311
8장 LIME(Local Interpretable Model- Agnostic Explanations)
8.1 LIME 소개 316
LIME의 수학적 표현 318
8.2 LIME 시작하기 321
8.2.1 구글 Colaboratory에 LIME 설치하기 322
목차 XXI
8.2.2 데이터 셋 검색 및 벡터화 하기 322
8.3 실험적 AutoML 모듈 324
8.3.1 불가지론적 AutoML 템플릿 생성하기 325
8.3.2 배깅 분류기(Bagging classifier) 327
8.3.3 그라디언트 부스팅 분류기 328
8.3.4 의사결정 트리 분류기 329
8.3.5 엑스트라 트리 분류기 330
8.4 점수 해석하기 331
8.5 모델 훈련하기 및 예측 수행하기 332
8.5.1 분류기와 상호적인 선택 332
8.5.2 예측 과정 마무리하기 333
8.6 LIME 설명자 335
8.6.1 LIME 설명자 만들기 337
8.6.2 LIME 설명 해석하기 339
8.7 요약 346
8.8 질문 347
9장 반사실적 설명 방법
9.1 반사실적 설명 방법 353
9.1.1 데이터 셋 및 동기 353
9.1.2 WIT로 반사실적 거리 시각화하기 354
9.1.3 기본 뷰로 데이터 포인트 거리 분석하기 356
9.1.3 반사실적 설명의 논리 364
9.2 거리 함수 선택 370
9.2.1 L1 norm 371
9.2.2 L2 norm 373
9.2.3 맞춤형 거리 함수 374
9.3 딥러닝 모델의 아키텍쳐 374
9.3.1 WIT 호출 375
9.3.2 WIT를 위한 맞춤형 예측 함수 376
9.3.3 케라스 모델 로딩하기 378
9.3.4 데이터 셋 및 모델 검색하기 379
목차 XXII
9.4 요약 380
9.5 질문 381
10장 대조적 XAI
10.1 대조적 설명 방법 386
10.2 MNIST를 이용하여 CEM 배우기 389
10.2.1 Alibi 설치하기 및 모듈 가져오기 389
10.2.2 모듈 및 데이터 셋 가져오기 389
10.3 CNN 모델 정의하기 및 훈련하기 394
10.3.1 CNN 모델 생성하기 395
10.3.2 CNN 모델 훈련하기 396
10.3.3 모델 로딩하기 및 정확도 테스트하기 398
10.4 오토인코더 정의하기 및 훈련하기 399
10.4.1 오토인코더 생성하기 400
10.4.2 오토인코더 훈련 및 저장하기 400
10.4.3 원본 이미지와 디코딩된 이미지 비교하기 401
10.5 Pertinent negative 403
10.5.1 CEM 파라메터 405
10.5.2 CEM 설명자 초기화하기 406
10.5.3 pertinent negative 설명 406
10.6 요약 409
10.7 질문 409
11장 앵커(Anchor) XAI
11.1 앵커 AI 설명 415
11.1.1 소득 예측하기 415
11.1.2 뉴스그룹 설명 분류하기 418
11.2 ImageNet에 대한 앵커 설명 420
11.2.1 Alibi 설치하기 및 모듈 가져오기 421
11.2.2 InceptionV3 모델 로딩하기 422
목차 XXIII
11.2.3 이미지 다운로드하기 422
11.2.4 이미지 처리하기 및 예측 수행하기 424
11.2.5 앵커 이미지 설명자 구축하기 424
11.2.6 다른 범주 설명하기 428
11.2.7 다른 이미지들과 문제점 431
11.3 요약 432
11.4 질문 433
12장 인지적 XAI
12.1 인지적 규칙 기반 설명 439
12.1.1 XAI 도구에서 XAI 개념으로 439
12.1.2 인지적 XAI 설명 정의하기 440
12.1.3 인지적 XAI 방법 442
10.1.4 특징의 한계 기여도 449
12.2 vectorizers에 대한 인지적 접근방법 454
12.2.1 LIME을 위한 vectorizer 설명 454
12.2.2 SHAP를 위한 IMDb vectorizer 설명하기 457
12.3 CEM을 위한 인간의 인지적 입력 460
12.4 요약 466
12.5 질문 467
부록 질문에 대한 답 469
INDEX 48

Denis Rothman Denis Rothman graduated from Sorbonne University and Paris-Diderot
University, writing one of the very first word2vector embedding solutions. He began his career authoring one of the first AI cognitive natural language processing (NLP) chatbots applied as a language teacher for Mo?t et Chandon and other companies.
He has also authored an AI resource optimizer for IBM and apparel producers. He then authored an advanced planning and scheduling (APS) solution that is used worldwide