AI 모델 성능 평가, LLM·VLM과 미래 AI 모델(인공지능총서)

AI 모델 평가, 새로운 기준을 세우다
챗GPT의 등장은 기존 성능 평가 지표의 한계를 드러냈다. 정확도나 BLEU 점수만으로는 창의성, 추론 능력, 윤리성까지 포괄하는 대규모 언어 모델(LLM)과 비전 언어 모델(VLM)의 능력을 설명하기 어렵다.
이 책은 LLM과 VLM, 이미지 생성 모델 등 최신 AI를 평가하는 지표와 프레임워크를 체계적으로 정리한다. 퍼플렉시티, ROUGE, FID, CLIP 스코어 같은 기술적 기준은 물론, 산업별 특화 사례와 로봇의 체화된 추론 평가까지 다룬다. 더 나아가 AI의 안전성·윤리성·지속 가능성을 핵심 평가 축으로 제시하고, AGI를 향한 새로운 패러다임을 탐구한다. 연구개발 제안서 작성과 정책 기획에 필요한 지표를 제공하면서도, 단순한 기술 측정이 아닌 사회적 책임과 가치에 맞는 평가의 필요성을 강조한다. AI가 인류의 미래에 기여할 수 있는 방향을 찾고자 하는 연구자, 개발자, 정책 담당자에게 필요한 정보를 담았다.

AI 모델 성능 평가의 새로운 패러다임 시작

01 대규모 언어 모델의 성능 평가
02 비전 언어 모델의 성능 평가
03 생성 AI 모델의 성능 평가
04 파운데이션 모델의 성능 평가
05 산업별 LLM·VLM 성능 평가
06 로봇 일상화를 위한 CoT 성능 검증
07 AI 모델의 안전성과 윤리적 평가
08 AI 모델의 효율성과 지속 가능성 평가
09 미래 AI 모델 성능 평가 패러다임
10 AI 모델 성능 평가의 미래 전망

이정헌 경희대학교 컴퓨터공학과 교수다. 1999년부터 2011년까지 3번 스타트업을 창업해 투자금을 회수(exit)했고, 한국정보화진흥원 프로젝트 매니저(PM)를 거쳐 2013년부터 현재까지 경희대학교 컴퓨터공학과 교수로 재직 중이다. 2018년부터 전문 개인 투자자로 활동하고 있으며, AC(액셀러레이터)/VC(벤처캐피탈) 투자사를 설립해 스타트업을 발굴하고 투자하고 성장을 지원하는 투자 활동을 활발히 하고 있다. 2017년부터 4년간 중소벤처기업부 성능검증연구협의회 사무국장을 지냈다. 중소벤처혁신기업협회 협회장과 국가지식재산위원회 신지식 재산 분과에서 전문위원으로 활동했다(2013∼2017). 과기부, 산업부, 문체부, 중기부 등에서 국책과제 최고평가단 및 AI 관련 신규 과제 기획위원으로 활동 중이다. AI, 빅데이터, AR/VR, 영상 처리 분야에서 다수의 국책 연구 개발 프로젝트를 수행했으며, 세계인명사전에도 전문가로 등재되어 있다. 주요 저서로 《애즈 어 서비스다! 비트 경제의 게임체인저》(2021), 《4차 산업 시대의 역량 강화를 위한 생성형 AI 그리고 산업자동화》(2024), 《개인투자자와 AI 서비스》(2025) 등이 있다.