설명 가능한 AI의 허와 실(AI문고)

《설명 가능한 AI의 허와 실》은 인공지능 시대에 필요한 새로운 책임 구조와 '설명'의 기준을 다룬다. 설명 가능성을 중심 개념으로 삼아, AI 판단을 어떻게 이해하고 누구에게 어떤 방식으로 책임을 물을 것인지에 대한 법적·기술적·사회적 쟁점을 종합적으로 분석하며, 설명을 기술적 기능이 아닌 권리와 통제의 언어로 재정의한다.
설명 가능한 AI(XAI)는 AI가 어떤 이유로 특정 결정을 내렸는지를 인간이 이해할 수 있는 방식으로 제시하는 기술을 의미한다. 그러나 현재의 XAI는 복잡한 딥러닝 모델을 단순화한 근사 모형에 의존해 실제 판단 구조를 충실히 보여 주지 못한다. 이 때문에 XAI가 제시하는 설명은 '그럴듯해 보이는 설명'에 머무르며, 판단의 진짜 근거를 밝히기보다는 책임을 흐릴 위험이 있다. 반면 설명 가능성은 AI 결정의 기준과 과정을 이해·검증·반박할 수 있는 능력을 의미하며, 권리 보장과 책임 귀속의 핵심 전제가 된다. 의료·금융·행정 등 고위험 영역에서는 특히 이러한 설명 가능성이 절차적 정당성과 기본권 보장을 위해 필수다.
이 책은 기술적 설명과 법적 설명의 차이, 블랙박스 AI의 구조적 불투명성, 설명권의 법적 근거, 그리고 AI 결정에서 누가 잘못했는가, 누구에게 불공정했는가를 밝혀내는 판단 구조를 함께 분석하며 XAI의 한계를 비판적으로 검토한다. 또한 EU 「AI법」과 「GDPR」, 미국·일본의 규범과 비교해 설명 가능성이 국제적으로 어떻게 제도화되고 있는지 정리한다. 나아가 설명의 비용 구조, 고위험·저위험 AI의 차등 규제, 독립 감시 기구와 시민 참여형 거버넌스 등에 대해 다각도로 논의하며, XAI를 단순한 기술적 부가 기능이 아니라 사회적 통제와 책임을 가능하게 하는 규범적 구조로 재구성해야 한다는 점을 분명히 한다.

설명 가능한 AI는 실현 가능한가?

01 설명 가능성이란 무엇인가: 기술적 개념과 오해
02 블랙박스 AI의 기술적 한계: 설명이 불가능한 구조인가?
03 법은 설명을 요구할 수 있는가: 설명 가능성의 규범화
04 AI 설명이 미치는 영향: 책임과 정당성의 연결 고리
05 설명이 차별을 해명할 수 있는가: 편향과 불공정성의 진단 도구
06 설명의 허구: 기업의 책임 회피 도구가 되는가?
07 국제 비교: EU, 미국, 일본의 설명 가능성 규범과 사례
08 설명 가능 AI와 인간-기계 상호 작용의 재설계
09 설명의 비용과 현실성: 어느 수준까지 강제할 수 있는가
10 설명 가능성 이후: 책임 사슬, 데이터 투명성, 거버넌스로 확장하기

김윤명 디지털정책연구소(DPI) 소장이다. 남도의 니르바나, 땅끝 해남에서 태어났다. 광주 인성고등학교와 전남대학교 문헌정보학과를 졸업하고 경희대학교에서 지식재산법을 전공해 박사 학위를 받았다. 현재 세종사이버대학교에서 정보보호학을 공부하고 있다. 네이버에서 정책수석을, 소프트웨어정책연구소(SPRi)에서 소프트웨어와 인공지능 법제 연구를, 국회에서 보좌관을 맡아 입법과 정책을 다루었다. 이재명 경기도지사 캠프와 인수위인 새로운경기위원회, 그리고 이재명 대통령후보(20대, 21대) 캠프에서 활동했다. 대통령소속 국가지식재산위원회 AI-IP 특위에서 AI 시대에 변화하는 지식 재산의 지형을 함께 그렸다. 경희대학교 법무대학원에서 'AI법'을, 전남대학교 데이터사이언스대학원에서 '데이터사이언스 법과 윤리'를 강의하며 다음 세대를 준비하고 있다. 《블랙박스를 열기 위한 AI법》은 교육부 우수학술도서로, 《게임법》, 《게임서비스와 법》, 《인터넷서비스와 저작권법》은 문화체육관광부 세종도서(우수학술도서)로 선정되었다. 시를 짓고 사진을 찍는다. 두 아이의 강하중학교에서 발간한 시집 《나에겐 비도 맛있다》에 몇 편의 시를 담았다. 아내와 아이들, 그리고 시고르자브종 리카와 밴, 동네 골목, 바람과 하늘, 꽃과 나무 등 세상의 모든 숨결이 렌즈에 깃든다. 사람들의 짠하고도 아심찬한 풍경을 기록한다. 시집을 내고 사진 갤러리를 여는 것이 꿈이기도 하다. 집 안에 '도서관N'을 세웠다. 정사서 1급 자격증을 가지고 있지만 도서관장은 아내다. 'N'은 네이버와 한게임의 합병법인 NHN(Next Human Network)에서 따온 'Next'를 의미한다. "도서관엔(N) 뭐가 있을까? 도서관엔(N) 길이 있지! 도서관 다음엔(N) 뭘 만들지?" 이런 장난스러운 물음 속에 세상을 향한 다음 걸음을 품는다. 언젠가 모두를 위한 더 큰 도서관N을 짓겠다는 꿈을 품고 있다. AI를 비롯한 디지털 법제와 정책을 연구하기 위해 양평에 '디지털정책연구소'를 세웠다. 인연은 digitallaw@naver.com을 통해 이어질 수 있다.