한 권으로 끝내는 AI 전환

많은 조직이 AI를 도입해야 한다는 필요성에는 공감하지만, 정작 무엇부터 시작해야 하는지에 대해서는 명확한 기준을 갖지 못한 채 시행착오를 반복하고 있다. 새로운 기술이 등장할 때마다 도구를 빠르게 도입하는 데 집중하지만, 업무 방식과 조직 문화는 그대로인 경우가 적지 않다. 그 결과 AI는 일시적인 생산성 도구에 머무르거나 일부 부서의 실험으로 끝나는 경우가 많다. 『한 권으로 끝내는 AI 전환』은 이러한 현실을 직시하며, AI의 성공은 뛰어난 기술보다 조직이 얼마나 준비되어 있는가에 달려 있음을 일깨운다. AI를 '도입'의 대상이 아니라 조직의 운영 방식을 다시 설계하는 계기로 바라보도록 이끄는 점이 이 책의 가장 큰 의미이다.
이 책은 AI를 거창한 미래 기술로 포장하지 않는다. 오히려 조직이 지속적으로 활용할 수 있는 현실적인 변화와 실행 가능성에 주목하며, 기술과 사람, 업무가 자연스럽게 연결되는 방향을 고민하게 만든다. 빠르게 변하는 AI 시대일수록 필요한 것은 새로운 유행을 좇는 속도가 아니라 변화의 본질을 이해하는 시각이다. 이 책은 AI를 어떻게 사용할 것인가를 넘어, AI와 함께 어떤 조직을 만들어 갈 것인가를 고민하는 모든 리더와 실무자에게 장기적인 관점과 균형 잡힌 방향성을 제시하는 든든한 길잡이가 되어 줄 것이다.

프롤로그
이 책의 독자
이 책의 구성과 읽는 법


1부 AI 전환의 판을 읽다

1장 | AI 전환은 이미 조직의 운영 과제다
1절. AI 전환은 운영 체계의 재설계다
2절. AX는 도입이 아니라 전환이다
3절. AI 가치는 생산성을 넘어선다
4절. 조직 유형별 AI 도입 경로
5절. 실패하는 AI 프로젝트의 공통 요인
6절. 지금 조직이 먼저 물어야 할 질문

2장 | 조직 AI는 운영 체계로 어떻게 진화하는가
1절. 자동화의 범위는 어떻게 넓어졌나
2절. Copilot에서 Agent로 확장되는 역할
3절. 부서 실험에서 전사 플랫폼으로
4절. 조직 유형별 AI 진화 경로
5절. 우리 조직의 AI 성숙도 진단
6절. 다음 단계로 가기 위한 조건

3장 | AI 서비스의 가치는 어떻게 설계되는가
1절. AI는 기능이 아니라 가치사슬이다
2절. 가치가 먼저 보이는 세 가지 영역
3절. 유스케이스는 문제에서 출발한다
4절. ROI만으로 설명되지 않는 AI 성과
5절. 작은 성공을 운영 모델로 바꾸는 법
6절. AI 서비스 포트폴리오 설계

4장 | Agentic AI의 역할은 어디까지 확장되는가
1절. 생성형 AI 다음의 Agentic AI
2절. Assistant, Copilot, Agent의 차이
3절. Agent를 움직이는 네 가지 요소
4절. 업무 분업과 운영 방식의 변화
5절. Multi-Agent가 필요한 시점
6절. AGI 담론 이후 실무에 남는 것


2부 조직 AI를 움직이는 데이터와 LLM

5장 | 데이터가 AI 품질을 결정한다
1절. 데이터가 AI 경쟁력을 좌우한다
2절. AI 활용 역할별로 데이터를 다시 나눠라
3절. 문서가 많다고 지식이 되는 것은 아니다
4절. 데이터 품질 항목을 나누어 관리하라
5절. 권한·보안·책임도 데이터 설계다
6절. RAG와 Agent를 위한 데이터 준비 순서

6장 | 모델의 진화가 조직의 선택을 바꾼다
1절. 규칙 기반 시스템이 여전히 필요한 이유
2절. 머신러닝이 가져온 변화
3절. 딥러닝과 비정형 데이터의 부상
4절. 파운데이션 모델이 만든 전략 전환
5절. 최고 모델 하나보다 포트폴리오가 중요하다
6절. 모델 진화에서 조직이 읽어야 할 것

7장 | LLM은 어떻게 답을 만드는가
1절. 토큰, 임베딩, 컨텍스트 이해하기
2절. Transformer와 Attention이 계산하는 것
3절. 사전 학습, 지시 미세조정, 정렬의 역할
4절. 추론, 도구 사용, 메모리가 바꾸는 서비스
5절. 환각은 왜 생기고 어떻게 줄이는가
6절. 실무에 필요한 만큼은 이해하기

8장 | 우리 조직에 맞는 LLM을 고르는 법
1절. 범용·특화, 폐쇄형·오픈형 모델
2절. 성능, 비용, 보안, 통제의 균형
3절. 한국어, 도메인, 멀티모달 역량 평가
4절. SaaS, 엔터프라이즈, 프라이빗, 하이브리드 선택
5절. 벤더 종속을 줄이는 운영 구조
6절. 모델 선정부터 계약·보안까지


3부 작동하는 AI 시스템을 설계하다

9장 | RAG로 조직 지식을 연결하는 법
1절. RAG가 필요한 순간과 한계
2절. 지식 원천 설계 : 전사·사용자·업무 시스템
3절. 청킹, 임베딩, 색인의 기본 원리
4절. 하이브리드 검색과 재순위화
5절. 근거 기반 응답과 출처 제시
6절. 운영형 RAG와 셀프서비스형 RAG
7절. RAG 데이터 파이프라인과 접근 권한
8절. RAG 평가와 개선 체계

10장 | Agent 시스템을 설계하는 법
1절. Agent를 이루는 구성 요소
2절. 워크플로형과 자율형의 선택
3절. 목표, 역할, 도구, 제약 조건 설계
4절. 사람이 개입해야 할 지점
5절. 단일 Agent와 Multi-Agent 설계 기준
6절. 조직 업무별 Agent 도입 패턴

11장 | AI 응답 품질을 높이는 법
1절. 좋은 프롬프트의 기본 원칙
2절. 컨텍스트와 지시문 표준화
3절. RAG, 파인튜닝, 툴 호출의 선택 기준
4절. 평가셋과 시나리오 검증 설계
5절. 사람 평가와 자동 평가의 균형
6절. 지속 개선을 위한 품질 운영 체계

12장 | AI 인프라를 구성하는 법
1절. AI 인프라는 운영 구조의 문제다
2절. 모델, 데이터, 서비스, 운영 계층으로 보기
3절. 클라우드, 온프레미스, 하이브리드 선택
4절. 보안, 네트워크, 권한, 감사 체계
5절. 조직 유형별 인프라 제약 조건
6절. 확장성과 비용을 함께 만족시키는 원칙


4부 운영되는 AI, 통제되는 AI

13장 | LLMOps와 AgentOps로 운영하는 법
1절. 운영 없는 AI는 확산될 수 없다
2절. 프롬프트, 모델, 데이터, 워크플로우 버전 관리
3절. 모델 게이트웨이와 Multi-LLM 라우팅
4절. 로그, 관측성, 추적성, 프롬프트 분석
5절. 품질, 안정성, 비용, 사용량 통합 모니터링
6절. Agent 실행과 의사결정 기록
7절. LLMOps·AgentOps 운영 모델

14장 | AI 리스크를 통제하는 거버넌스 설계
1절. AI 거버넌스는 운영 체계다
2절. 윤리 원칙을 정책과 절차로 바꾸기
3절. 개인 정보, 데이터 주권, 계약 책임
4절. 입력, 데이터, 모델, RAG, 도구 리스크 대응
5절. 국내외 규제와 표준의 실무 연결
6절. 조직에 맞는 AI 거버넌스 체계

15장 | AI 서비스 수준을 최적화하는 법
1절. 품질, 안정성, 비용, 사용량을 함께 관리하라
2절. 사용자 경험과 응답 품질 함께 설계하기
3절. 장애와 실패를 줄이는 운영 원칙
4절. 토큰, 호출, 저장, 인프라 비용 이해하기
5절. 성능과 비용의 균형 잡기
6절. 서비스 수준 목표와 운영 KPI


5부 AI 전환을 조직에 정착시키다

16장 | AI 전환을 실행하고 확산하는 법
1절. AI 전환은 프로젝트가 아니라 경영 프로그램이다
2절. 전사 전략과 부서 과제를 연결하라
3절. 과제 발굴에서 PoC·파일럿·확산까지
4절. 조직, 예산, 조달, 인력·교육 체계
5절. 수용성과 재사용 전환을 높이는 법
6절. 성과 관리와 내재화 체계
7절. 우리 조직의 AI 전환 로드맵


에필로그370
부록 A | 조직 AI 전환 진단표376
부록 B | AI 유스케이스 발굴 캔버스387
부록 C | AI·Agent 서비스 기획 체크리스트391
부록 D | AI 거버넌스 운영 점검표396
부록 E | AX 용어사전401
참고문헌409

오형섭 ㆍ 現)주식회사 에이턴업 대표
ㆍ AI 기술부터 거버넌스까지 통합하는 컨설턴트

인공지능 전환과 데이터 기반 조직 운영을 주제로 연구와 집필을 이어가고 있다.
기술의 변화보다 그 기술이 조직의 업무, 의사결정, 책임 구조를 어떻게 바꾸는지에 관심을 둔다.
이 책에서는 AI 전환을 둘러싼 개념, 기술, 데이터, 보안, 거버넌스, 운영체계를 하나의 흐름으로 정리하여 실무자가 실제 판단과 실행에 활용할 수 있도록 했다.