스테이블 디퓨전 실전 가이드(지적생활자를 위한 교과서 시리즈)

Stability AI 공식 파트너사가 공개하는
스테이블 디퓨전 활용 테크닉의 결정판

2022년에 처음 등장한 '스테이블 디퓨전'은 사람들에게 큰 인상을 남겼다. 이 AI는 실사에서 애니에 이르는 다양한 이미지를 쉽고 빠르게 고품질로 생성할 수 있는데, 발전을 거듭하더니 주요한 이미지 생성 AI 중 하나로 자리매김했다. 스테이블 디퓨전 같은 이미지 생성 AI가 등장한 덕분에, 우리는 출중한 그림 실력이 없어도 아이디어가 있다면 자신의 상상력을 새로운 방식으로 맘껏 펼칠 수 있는 시대를 맞이하는 중이다.
새로운 창작의 시대가 열렸다고 해도 과언이 아닌 지금, 이미지 생성에 관심이 있거나 일러스트 · 디자인 · 웹툰 같은 분야에 종사하고 있는 사람이라면 이미지 생성 AI의 기능을 익히고, 활용처를 고민해야 한다. 스테이블 디퓨전과 함께라면 더욱 많은 아이디어, 더욱 빠른 작업 속도가 꿈은 아니기 때문이다.

일러스트레이터 · 디자이너 · 게임 개발자 · 애니메이터
작업자의 능률과 아이디어를 끌어올리는 스테이블 디퓨전의 힘

《스테이블 디퓨전 실전 가이드》는 초급부터 고급까지 아우르는 이미지 생성 AI 입문서이자 가이드다. 먼저 초보자의 경우, 비싼 하드웨어나 복잡한 코딩 지식 없이도 구글 Colab을 활용해 누구나 이미지를 생성하는 방법을 알려준다는 점이 눈에 띌 것이다. 구글 Colab은 클라우드 컴퓨팅 서비스로, 인터넷에 접속한 상태라면 누구나 구글의 막강한 연산 환경을 이용하게 해준다. 이 점은 기술적 복잡성 때문에 AI에 접근하지 못했던 많은 사람에게 새로운 가능성을 열어준다. 구글 계정만 있으면 사용할 수 있는 Colab 환경에서 스크립트를 손쉽게 실행하고, 고품질 이미지를 생성해 보는 경험을 할 수 있다.
또한 본문 곳곳에 배치된 칼럼은 특정 주제의 심화 설명이나 실수를 줄이는 팁 등을 제공해 초보자를 돕는다. 예를 들어, 구글 Colab 환경의 자원 관리 방법이나 오류 대처법을 소개하는 부분은 초보자가 흔히 마주할 수 있는 문제를 효과적으로 해결하도록 안내한다.

원하는 이미지를 만드는 프롬프트 작성법부터
작업에 개성을 부여하는 ControlNet과 LoRA까지

기본 원리를 익히고 간단한 실습을 했다면, 이후에는 고급 기술과 노하우를 익힐 수 있다. 단순히 프롬프트 입력만으로 출력하는 이미지에서 벗어나, 내가 원하는 이미지를 어떻게 만들 수 있는지를 친절하게 설명한다. 프롬프트를 세밀하게 다루는 요령과 파라미터의 세부적인 설정 방법을 체험하면서 최적의 결과를 얻는 방법을 스스로 익힐 수 있을 것이다. 책에서는 다양한 예시와 작업물을 비교해 가며, 이 모든 노하우를 독자가 쉽게 따라 할 수 있도록 내용을 구성했다.
이미지 생성 AI의 기능 중에서 가장 복잡하고 어렵다는 LoRA도 상세하게 설명한다는 점은 이미지 생성을 이미 경험한 사람들에게도 솔깃한 지점이다. 다양한 화풍과 이미지를 추가로 학습시켜 자신만의 AI 모델인 LoRA를 어떻게 만들 수 있는지 확실하게 익혀보자. LoRA를 잘 구축해 놓으면, 자신의 개성을 확연하게 드러낼 수 있으며 일관성 있는 화풍의 이미지도 만들어낼 수 있다.

현장에서 활용하는 실무 기술과 전략
이미지 생성 작업의 진짜 팁을 익혀라

어떤 작업이든 일정한 흐름이 있기 마련이다. AI 이미지 생성 작업에도 목적을 설정하고, 이를 빠르게 달성하는 데 도움을 주는 효율적인 작업 흐름이 있다. 이 책에서는 AI 크리에이터 2명이 자신의 작업 과정을 낱낱이 공개한다. 자신들이 어떤 흐름에 따라 이미지를 만드는지를 소개한다. 독자는 현직 작가들의 생생한 작업 과정을 열람하면서 특정 작업을 해결하는 방법과 팁을 참고할 수 있다. 현장에서 바로 통하는 요령과 이치를 잘 소화한다면, 이미지 생성 실력이 급속도로 올라갈 것이다.
스테이블 디퓨전은 계속 발전하고 있으며, 새로운 버전이 발표될 때마다 더 강력한 기능이 추가되고 성능도 올라간다. 이 책은 특정 버전을 중심으로 여러 기능을 설명하나, 이미지 생성 AI의 근본적인 원리가 무엇인지도 설명한다. 이 책은 왜 AI의 작동 방식까지 설명하고 있을까.
스테이블 디퓨전의 버전이 바뀌더라도, AI의 작동 원리와 이를 바탕으로 익힌 작업 노하우는 유효하게 남아 앞으로도 활용할 수 있기 때문이다. 즉 특정 버전에 얽매인 기능이 아니라, 작업 과정을 효율적으로 구성하거나 높은 품질을 도출하는 방법을 익힐 수 있다는 뜻이다. 스테이블 디퓨전의 작동 원리인 '확산 모델'을 이해하는 일은 이처럼 생각보다 중요하다. 원리를 알면, 자신이 원하는 결과물을 얻기 위한 최적의 설정을 스스로 탐색하는 능력을 갖출 수 있다.
《스테이블 디퓨전 실전 가이드》는 스테이블 디퓨전에 관심이 있지만 어디서부터 시작해야 할지 모르는 사람 또는 AI 이미지 생성의 세계를 깊이 탐험하고자 하는 사람 모두에게 정보와 통찰을 제공해 준다. 따라서 창의력과 기술을 접목해 자신의 아이디어와 상상력을 현실에서 구현하는 방법을 알려주는 소중한 길잡이가 될 것이다. 최신 기술을 쉽게 배우고, 새로운 창작의 세계에 발을 들이고 싶은 사람에게 이 책을 추천한다. 독자는 누구나 쉽게 따라 할 수 있는 체계적인 설명, 많은 예제로 구성된 체험 학습 등을 경험하면서 분명 AI 이미지 생성의 매력에 흠뻑 빠질 것이다.

머리말
Chapter 1 이미지 생성 AI에 대해 알아보자
1-1 AI로 이미지를 생성해 보자
칼럼 : 사용하는 Google 계정에 주의하자
1-2 이미지 생성 AI의 탄생과 변천
1-3 현재 시점에서 'AI의 정의'를 생각해 보자
칼럼 :　변화해가는 사회와 AI　사이의 관계성
1-4 인공신경망을 알아보자
1-5 확산 모델에 의한 이미지 생성 원리를 알아보자

Chapter 2 환경 구축을 시작해 보자
2-1 Stable Diffusion을 사용할 환경을 준비하자
2-2 구글 Colab에서 해보는 환경 구축
칼럼 : 이용 중인 프로그램에 대해
칼럼 : 구글 Colab의 에러에 대응하자
칼럼 : 구글 Colab의 연산 자원을 효율적으로 관리하자
2-3 Stability Matrix를 로컬 환경에서 구축한다
칼럼 : 패키지 선택 화면에서 빠져나가지 않도록 주의하자
2-4 간단한 단어로 이미지를 생성한다
칼럼 : 이미지를 저장할 경로를 변경하자
칼럼 : 커뮤니티에서 질문을 해보자
2-5 모델을 다운로드한다
칼럼 : Stable Diffusion 시리즈
2-6 VAE를 다운로드한다

Chapter 3 프롬프트에서 이미지를 생성해 보자
3-1 프롬프트로 원하는 이미지를 만들어내자
칼럼 : CLIP의 제로 샷 전이성
3-2 네거티브 프롬프트를 구축한다
칼럼 : 임베디이란?
3-3 '생각대로' 이미지를 생성하자
3-4 이미지의 해상도를 올리자
3-5 다양한 파라미터를 조정해 보자
3-6 다양한 프롬프트를 테스트해 보자
칼럼 : 데포르메 캐릭터풍 이미지를 생성해 보자

Chapter 4 이미지를 써서 이미지를 생성해 보자
4-1 img2img로 할 수 있는 것을 파악하자
칼럼 : 색의 변화를 억제하는 설정을 해보자
4-2 Sketch를 이용해 이미지를 생성해 보자
칼럼 : 밑그림으로 이미지를 생성해 보자
4-3 Inpaint로 이미지를 편집해 보자
칼럼 : Mask blur를 조정해 자연스럽게 보이도록 한다
4-4 Inpaint를 응용해 이미지를 수정한다
4-5 Outpainting으로 이미지를 확장한다
4-6 img2img로 이미지의 해상도를 올린다
칼럼 : 확장 기능에 대해
4-7 확장 기능으로 업스케일링을 해보자

Chapter 5 ControlNet을 활용해 보자
5-1 ControlNet을 알아보자
칼럼 : 오픈 소스 라이선스의 확인
5-2 ControlNet을 다운로드해서 준비한다
5-3 ControlNet을 이용해 이미지를 생성한다
칼럼 : 둘 이상의 ControlNet을 사용한다
5-4 프리 프로세서의 역할을 이해한다
칼럼 : OpenPose를 더 능숙하게 사용해 보자

Chapter 6 LoRA를 만들어 활용해 보자
6-1 추가 학습으로 무엇을 할 수 있는지 알아보자
칼럼 : 향후 LoRA의 활용 방법
6-2 LoRA를 이용해 이미지를 생성하자
6-3 자신만의 전용 화풍 LoRA를 만든다
칼럼 : LoRA 학습 데이터에서 조심해야 할 점
칼럼 : 학습률에 대해 알아보자
6-4 다양한 종류의 LoRA를 만들어보자
6-5 학습 내용을 평가해 보자

Chapter 7 이미지 생성 AI를 더욱 활용해 보자
Interview Guest 피나스
Interview Guest 라케시데
이미지 생성 AI의 활용 및 주의점
AUTOMATIC1111/WebUI 추천 확장 기능
관련 용어

맺음말
참고 문헌
감사의 말

시라이 아키히코