AI 모델 성능 평가, 기초와 응용

정확도 너머, 신뢰를 설계하다
AI가 생활과 산업 전반을 움직이는 지금, 관건은 '얼마나 똑똑한가'가 아니라 '얼마나 제대로 작동하는가'다. 이 책은 혼동 행렬과 정밀도·재현율·F1의 기초부터 불균형 데이터, 임계값 튜닝, ROC-AUC를 거쳐 지연시간, 메모리, 에너지 효율까지 성능을 입체적으로 설계하는 방법을 안내한다. 의료·제조·금융·리테일 사례로 지표 선택의 맥락을 짚고, 공정성·설명가능성·안전성 준거를 현업 기준으로 정리한다. 국책 R&D 제안서에서 평가지표를 설정하는 요령과 흔한 함정을 제시하고, 배포 후 성능 모니터링과 재평가 체계를 통해 모델 드리프트에 대응하는 실무 프로세스를 제안한다.
정확도 99%의 환상을 걷고, 목적에 맞는 지표 조합으로 신뢰 가능한 AI를 구축하도록 돕는다. 현장 실패 사례를 해부하며 '정답률 착시'를 경계하고, 비용 민감도와 오류비용 테이블, 캘리브레이션, 강건성, 도메인 시프트와 데이터 드리프트, 적대적 입력에 대한 회복력까지 평가의 범위를 확장한다. 추천·검색·검출·요약·생성형 모델의 특성별 지표와 A/B 테스트, 오프라인－온라인 연계 실험 설계도 다룬다. 평가 결과 보고 포맷과 거버넌스 체크리스트를 제공해 조직의 의사결정을 돕는다.

AI 모델 성능 평가의 중요성

01 AI 모델 성능 평가 기초
02 분류 모델의 성능 평가
03 회귀 및 순위 모델 성능 평가
04 이미지 인식 및 분할 모델 성능 평가
05 의료 분야 AI 모델 성능 평가
06 제조 분야 AI 모델 성능 평가
07 금융 분야 AI 모델 성능 평가
08 패션 및 리테일 분야 AI 모델 성능 평가
09 산업별 테스트 세트와 벤치마크 구축
10 AI 모델 성능 평가의 실무 가이드

이정헌 경희대학교 컴퓨터공학과 교수다. 1999년부터 2011년까지 3번 스타트업을 창업해 투자금을 회수(exit)했고, 한국정보화진흥원 프로젝트 매니저(PM)를 거쳐 2013년부터 현재까지 경희대학교 컴퓨터공학과 교수로 재직 중이다. 2018년부터 전문 개인 투자자로 활동하고 있으며, AC(액셀러레이터)/VC(벤처캐피탈) 투자사를 설립해 스타트업을 발굴하고 투자하고 성장을 지원하는 투자 활동을 활발히 하고 있다. 2017년부터 4년간 중소벤처기업부 성능검증연구협의회 사무국장을 지냈다. 중소벤처혁신기업협회 협회장과 국가지식재산위원회 신지식 재산 분과에서 전문위원으로 활동했다(2013∼2017). 과기부, 산업부, 문체부, 중기부 등에서 국책과제 최고평가단 및 AI 관련 신규 과제 기획위원으로 활동 중이다. AI, 빅데이터, AR/VR, 영상 처리 분야에서 다수의 국책 연구 개발 프로젝트를 수행했으며, 세계인명사전에도 전문가로 등재되어 있다. 주요 저서로 《애즈 어 서비스다! 비트 경제의 게임체인저》(2021), 《4차 산업 시대의 역량 강화를 위한 생성형 AI 그리고 산업자동화》(2024), 《개인투자자와 AI 서비스》(2025) 등이 있다.