매트랩 영상처리 프로그래밍(acorn+PACKT 시리즈)

★ 이 책에서 다루는 내용 ★



■ 영상에 기본 기하학 변환 적용

■ 그레이스케일과 컬러 영상의 화소값 조작

■ 수동 또는 자동으로 영상 내 관심 영역 선택

■ 그레이스케일과 컬러 영상에 마스킹 기술 적용

■ 영상처리 스크립트와 함수 작성

■ 필터링 방법을 이용한 영상 품질 개선

■ 3차원 영상과 비디오 작업

■ 사진을 이용한 타임 랩스 비디오 생성



★ 이 책의 대상 독자 ★



환경에 대한 지식이 얕거나 거의 없지만 매트랩을 일반적인 영상이나 비디오 에디터의 대안이나 대체 솔루션으로 사용하고 싶어하는 초보 프로그래머에게 매우 유용하다. 이 책을 시작하기 전에 해야 할 유일한 일은 이 책의 자료를 더 쉽게 이해하기 위해 영상처리와 비디오 처리에 관한 기본적인 지식을 미리 쌓는 것이다. 약간의 기본 프로그래밍 경험은 도움이 되지만 필수는 아니다. 대부분의 내용이 밑바닥부터 시작하기 때문이다.



★ 이 책의 구성 ★



1장, '기본 영상 조작'에서는 매트랩 환경을 소개하고 기본 도구와 기능을 둘러보게 한 후, 매트랩의 GUI를 보여주고 매트랩에서의 영상 가져오기와 영상 띄우기를 차례대로 논의한다. 영상 회전/뒤집기, 크기 조정, 잘라내기 등의 기본 영상 변환을 다룬다. 마지막으로 영상을 기록하는 다른 방법을 보여준다. 1장은 대부분 처리를 함께 묶은 실습 예제가 들어 있다.

2장, '그레이스케일 영상의 화소 다루기'에서는 영상의 화소 기반 처리 예제에 기반을 둔다. 임계화, 지역이나 전역 명암대비 개선 같은 여러 고전적인 방법으로 영상을 개선하는 처리 방법을 논의한다. 제시된 방법은 매트랩 프로그래밍의 비밀을 부드럽게 소개한 여러 기술을 사용한다. 영상을 개선하는 실전 예제로 2장을 마무리한다.

3장, '형태학적 연산과 객체 분석'에서는 형태학적 영상 분석 방법의 기본을 소개한다. 3장에서는 임계화 방법을 이용해 그레이스케일 영상에 이진화를 수행하는 방법을 다룬다. 관심 있는 특별한 영상 영역을 선택하고 조작할 수 있도록 에지 검출과 다른 형태학적 연산자를 제시해 설명한다. 또한 자영상 내 코너, 원, 선을 자동으로 검출하는 기술을 알려주며 이 모든 기술은 여러 실습 예제를 통해 생생하게 보여준다.

4장, '컬러 영상 다루기'에서는 앞서 다룬 방법을 컬러 영상으로 확장한다. 그레이스케일로 다뤘던 몇 가지 처리를 컬러 영상처리로 다시 논의한다. 매트랩에서 서로 다른 컬러 공간과 그 장점을 컬러 영상 개선에 관한 예제로 설명한다. 조명과 컬러를 분리할 수 있는 방법과 독립적으로 처리하는 방법을 배울 수 있다. 컬러 분리 기술을 실전 예제를 통해 설명한다. 마지막에는 인기 있는 응용인 사진 내 적목 교정을 어떻게 개발하는지 배울 때 이전 장에서 언급했던 몇 가지 방법을 사용한다.

5장, '2차원 영상 필터링'에서는 영상 디블러링과 샤프닝 같은 영상 필터링에 대한 좀 더 복잡한 문제에 뛰어든다. 영상 잡음을 제거하는 더 정교한 기술을 접할 수 있다. 더 흥미롭고 재미있는 예제로 경험을 더 깊이 즐길 준비를 시작한다. 특정 영상 영역을 개선하거나 부드럽게 하기 위해 일부 필터를 지역적으로 적용한다.

6장, '예술 과학을 위한 영상 혼합'에서는 예술가나 과학자를 눈뜨게 한다. 과학적 시각화를 위해 다중분광 영상의 채널을 합성하는 기술을 배운 후, 예술적인 결과를 만들기 위해 영상 섞기나 영상 잇기를 하는 실습 예제로 재미를 선사한다. 매트랩에서 예술적인 HDR(High Dynamic Range) 영상을 생성할 수 있다. 끝으로 파노라마 영상을 생성하는 간단한 방법을 제시한다.

7장, '움직임 추가 - 정지 영상에서 디지털 비디오'에서는 이전까지 습득했던 지식에 기반을 둔 비디오 처리를 소개한다. 정지 영상으로 비디오를 생성할 수 있다는 사실은 더 나은 기본 개념을 이해하는 데 도움을 준다. 따라서 매트랩에서 기본 비디오 프레임 처리를 다룬 후 비디오를 불러오고 재생할 수 있는 방법을 보여주고, 정지 영상으로 비디오를 어떻게 생성하는지 알려준다. 7장에서는 타임 랩스 비디오 구성을 기본 실습 예제로 돌려볼 수 있다.

8장, '비디오 취득과 처리'에서는 매트랩의 영상 취득 도구 기능을 보여준다. 카메라로 비디오를 촬영하고, 매트랩에 들어 있는 특수 GUI 도구를 이용해 컴퓨터를 디지털 비디오 레코더로 사용하는 방법에 관한 단계별 예제를 제공한다. 또한 8장에서는 비디오 압축과 기본 컬러 비디오 처리 기술을 성능 문제에 관한 논의와 함께 보여준다.

9장, '시공간 처리'에서는 명령행 조작과 비디오 처리를 소개한다. 매트랩에서 기본 비디오 프레임 조작을 다룬 후 인트라 프레임과 인터 프레임 혹은 혼합 기술을 사용한 비디오 디인터레이싱 방법을 배운다. 시공간 비디오 필터링 개념을 잡는 데 도움을 주는 실습 예제를 함께 제시한다.

10장, '입문자에서 전문가로 - 움직임과 3D 처리'에서는 비디오에서 움직임을 검출하는 방법을 소개한다. 기본 지식에 바탕을 두고, 매트랩에서 간단한 감시 시스템을 만드는 핵심을 설명한다. 매트랩 툴박스 중 하나에 포함된, 인기 있는 옵티컬 플로우 알고리즘을 이용한 기본 움직임 추정도 알려준다. 비디오 안정화를 위한 예제를 돌려볼 수 있다. 마지막에 3차원 비디오 예제를 소개하고, 일반 비디오를 3D 비디오로 변환하는 매우 기본적이고 재미 있는 예제를 다룬다.



★ 옮긴이의 말 ★



매트랩(MATLAB)을 처음 접했을 땐 18년 전이었으며 당시 버전은 5.0이었다. 시간이 흐르면서 기술이 발전함에 따라 어느새 버전이 높아지고 많은 기능이 추가되는 것을 보면서 실감한 부분은 예나 지금이나 변함없이 매트랩 프로그래밍 관련 기초적인 방법만 알고 있다면 버전과 관계없이 자신의 분야에서 매트랩을 잘 활용할 수 있다는 점이었다.

사실 선형 대수학에 기반을 둔 매트랩은 다른 프로그래밍 언어에 비해 사용하기가 쉽고 결과를 시각화하기가 편한 강력한 프로그래밍 언어다. 영상처리 전공자와 컴퓨터 비전 전공자를 비롯한 연구자는 알고리즘 프로토타입을 설계해 성능을 테스트할 경우 매우 빠른 시간 안에 만들어야 하므로 매트랩을 대부분 사용하며, 영상처리와 컴퓨터 비전 관련 함수를 내장한 IPT(Image Processing Toolbox)와 CVST(Computer Vision System Toolbox) 등을 활용한다. 알고리즘 검증을 마치면 C/C++로 직접 개발하거나 혹은 알고리즘을 C/C++ 코드로 자동으로 생성하는 툴을 사용하고, 아니면 OpenCV 같은 컴퓨터 비전 라이브러리를 이용해 이식 하는 과정이 일반적이다.

여기서 주지해야 할 부분은 앞에 언급한 매트랩의 툴박스는 결코 만능이 아닌 데다가 매트랩에서 제공하는 매뉴얼에는 함수 사용법과 결과만 제시하고 있을 뿐, 해당 알고리즘을 자세하게 다루지 않고 해당 함수의 소스를 공개하고 있지 않아 알고리즘 동작 원리를 알기 힘들기 때문에 입문자에게는 어느 정도는 한계가 있다는 점이다. 그런 이유로 관련 이론에 대한 이해가 뒷받침돼야만 툴박스의 내장 함수를 제대로 사용할 수 있고, 더 나아가 자신이 원하는 프로그램을 수월하게 개발할 수 있다는 점을 분명히 말씀 드리고 싶다.

이 책의 저자인 조지 사오스카 박사는 나름대로 기존 매트랩 책과 차별화를 시도했으며, 다음과 같이 정리할 수 있다.

첫째, 정지 영상에서 동영상 처리까지 매트랩의 IPT와 CVST 등을 연계해 설명하며, 비디오 처리와 관련된 내용을 다룬 책이 거의 없다는 점을 고려했다.

둘째, 그레이스케일 영상 기반 알고리즘을 컬러 영상을 처리할 때 그대로 적용할 수 없으니 어떻게 처리해야 할지 친절하게 알려주고 있다.

셋째, 독자가 직접 매트랩 코드를 입력하고 결과를 바로 볼 수 있도록 실습을 유도한 후, 왜 그렇게 나왔는지 친절하게 설명한다.

넷째, 예술 공학의 꽃인 합성과 컴퓨터 비전의 움직임 추적 등을 다양하게 다루며 매트랩으로 할 수 있음을 강조한다.

한 줄로 요약하자면, 매트랩으로 정지 영상부터 예술 공학, 비디오 처리까지 필요한 내용을 쉽게 실습하며, 매트랩의 툴박스 매뉴얼보다 많이 참고할 수 있는 책이라고 할 수 있다. 실제로 조지 사오스카 박사는 매트랩 전문가 관점에서 기존 책의 패턴을 깨버리고 과감하게 시도했으며, 필요한 내용만 보여주면서 실습을 자연스럽게 이끄는 흡인력이 뛰어나고 또한 이 책의 '보충 설명(What just happened?)'에서 보듯이 다른 책에서도 접할 수 없었던 저자의 배려가 여기저기 묻어난다.

매트랩이 상용 프로그램이라는 특성 때문에 영상처리와 컴퓨터 비전 강의 과정에서 교재로 참고하거나 실습에 어려움이 있다면, 매트랩에 대한 대안이자 오픈소스로 공개된 옥타브(Octave)를 활용해 이 책을 참고할 수 있을 것이다.

2005년에 『MATLAB을 활용한 실용 디지털 영상처리』(홍릉과학) 책을 낸 이후로 지금까지는 출판 상황이 좋지 않아 개정판을 낼 기회가 없었고, 매트랩을 이용한 영상처리 책이 국내외로 많이 출간되지 않은 탓에 아쉬움이 많았다. 그러던 중에 이 책을 번역해 출간하면서 어느 정도는 마음의 부담을 덜 수 있게 돼 기쁘다.

1장. 기본 영상 조작

__매트랩 환경과 친숙해지기

____환경의 기본 하위 창

__리본

____HOME 탭

____PLOTS 탭

____APPS 탭

__편집기

____EDITOR 창

__영상을 가져온 후, 띄우기

____명령행을 이용해 영상을 가져온 후, 띄우기

__실습 예제 | 영상을 가져온 후, 띄우기

____imtool을 이용해 영상을 가져온 후, 띄우기

__실습 예제 | 유용한 정보를 추출하는 imtool 사용

__기하학적 변환 적용

____영상 회전 수행

__실습 예제 | 영상을 회전한 후, 결과를 띄우기

____영상 뒤집기 수행

__실습 예제 | 영상을 뒤집은 후, 결과를 띄우기

__도전 과제 | flipdim을 이용한 결과 비교

____영상 크기 조정

____영상 잘라내기

____영상 저장

__실습 예제 | 영상을 잘라내서 크기를 조정한 후, BMP로 저장

__도전 과제 | 요구에 맞춰 영상을 재단하기

__깜짝 퀴즈 | 매트랩을 이용한 영상처리

____요약



2장. 그레이스케일 영상의 화소 다루기

__영상 화소 접근과 화소값 변경

____반복문을 이용한 사각형 영역의 화소값 변경

____첨자를 이용한 사각형 영역의 화소값 변경

____스크립트를 이용한 작성

__실습 예제 | 흰 영역과 검은 영역

__영상 임계화

____반복문을 이용한 영상 임계화

____첨자를 이용한 영상 임계화

____im2bw를 이용한 영상 임계화

__자동 임계값을 이용한 영상 임계화

__imhist로 히스토그램을 계산한 후, 띄우기

__명암대비 개선을 위한 히스토그램 평활화

__imadjust를 이용한 명암대비 개선

__imcontrast를 이용한 명암대비 개선

__adapthisteq를 이용한 적응적 히스토그램 평활화

__복잡한 작업을 하기 위한 사용자 정의 함수

__실습 예제 | 차이를 정확하게 알아내는 imtool 사용

__도전 과제 | 영상 영역을 개선하기 위한 함수 작성

__옛 사진 복원

__실습 예제 | 조상의 사진 복원

__깜짝 퀴즈 | 명암대비 개선 방법

__요약



3장. 형태학적 연산과 객체 분석

__이진 영상의 중요성

__실습 예제 | 임계값 이해

__관심 영역 확대와 축소

__실습 예제 | ROI를 정제하는 팽창과 침식 사용

____구조화 요소 선택

____구조화 요소를 생성하는 strel 사용

__요구에 맞추기 위해 strel로 구조화 요소 변경

__실습 예제 | strel을 이용한 ROI 정제

__도전 과제 | 지역 팽창/침식을 위한 함수 작성

__비사각형 ROI를 직접 정의하기

____마스크를 만들기 위한 roiploy 사용

____마스크를 만들기 위한 imfreehand 사용

__실습 예제 | 사용자 정의 객체 제거 함수 만들기

__영상의 객체 분석

____영상의 에지 검출

____영상의 코너 검출

____영상의 원 검출

__깜짝 퀴즈 | 객체 분석의 장단점

__요약



4장. 컬러 영상 다루기

__컬러 영상 처리 소개

__기본 컬러 영상 조작

__사각형 영역을 특정 컬러로 설정

__실습 예제 | 컬러 영상의 두 영역을 칠하기

__컬러 영상 임계화

__실습 예제 | 영상의 빨간 화소값 분리

__컬러 마스킹 달성

__실습 예제 | 컬러 분리

__다른 컬러 공간의 중요성

__실습 예제 | 컬러 공간 변환

__더 효율적인 컬러 마스킹을 위한 CIE-L*a*b*

__실습 예제 | CIE-L*a*b*을 이용한 컬러 분리

__도전 과제 | 영역 컬러 분리를 위한 함수 작성

__RGB 컬러 공간의 조명 문제 해결

__CIE-L*a*b 컬러 공간의 조명 문제 해결

__실전 예제 | 적목 감소

__실습 예제 | 적목 감소를 위한 함수 작성

__눈의 원형 활용

__실습 예제 | 적목 감소를 위한 함수 자동화

__깜짝 퀴즈 | 컬러 다루기

__요약



5장. 2차원 영상 필터링

__영상 필터링 소개

__이웃 화소 처리

__회선의 기본

__불편한 수학적 진실

__실습 예제 | 영상에 평균화 필터 적용

__회선에 대한 대안

__imfilter 사용

__fspecial을 이용한 필터 생성

__영상을 블러링하는 다른 방법

__실습 예제 | 블러링이 얼마나 충분한가?

__블러링을 이용한 예술 효과 생성

__실습 예제 | 영상의 보케 효과 생성

__도전 과제 | 영상에 모션 효과 추가

__블러링을 이용한 잡음 제거

__실습 예제 | 다양한 종류의 잡음을 제거해보자

__미디언 필터의 중요성

__실습 예제 | medfit2로 소금 & 후추 제거

__도전 과제 | 실제 영상의 잡음 제거

__실습 예제 | 영상의 에지 개선

__조명을 밝게 하기

__실습 예제 | 병정 사진의 조명을 밝게 하기

__깜짝 퀴즈 | 2차원 영상 필터링

__요약



6장. 예술 과학을 위한 영상 혼합

__혼합 또는 조합 영상의 중요성

__다중분광 영상화 이용

__다중분광 영상을 불러온 후, 조작

__실습 예제 | 리오의 다중대역 영상 내 가시 스펙트럼

__실습 예제 | 비가시 분광으로 작업

__합성 영상 생성

____합성 영상을 생성하는 imfuse 사용

____합성 영상을 점검하는 imshowpair 사용

__실습 예제 | 갈매기 복제

__도전 과제 | 사진으로 워홀(Warhol) 재현

__한 걸음 더 | 선택한 영상 영역 섞기

__실습 예제 | 위협적인 장면 연출

__높은 동적 범위 영상 생성

__실습 예제 | HDR 영상 조합

__파노라마를 생성하기 위해 영상을 잇기

__실습 예제 | 파노라마 잇기에 대한 기본 방법

__깜짝 퀴즈 | 영상 혼합 세부 사항

__요약



7장. 움직임 추가 - 정지 영상에서 디지털 비디오로

__디지털 비디오 소개

__프레임의 의미

____비월주사와 순차주사

____프레임률과 중요성

____프레임 수 계산

____프레임률 선택에 관한 고찰

__매트랩에서 비디오를 불러오기

____aviread로 비디오를 불러오기

____mmreader로 비디오를 불러오기

____VideoReader로 비디오를 불러오기

____비디오 읽을 때 사용하는 함수 선택

__매트랩에서 비디오 재생

__실습 예제 | 비디오를 읽고 재생

__정지 영상으로부터 비디오 생성

__실습 예제 | 비디오를 구성하고 저장

__도전 과제 | 페이드 인/페이드 아웃 효과가 있는 비디오 생성

__montage를 이용한 비디오 검사

__실습 예제 | 공을 기다리지 않기

__재생에 필요한 도구 - implay

____implay의 GUI 사용

____비디오 파일을 재생하기 위해 implay 사용

____영상 시퀀스를 재생하기 위해 implay 사용

__타임 랩스 비디오 생성

__실습 예제 | 일반 비디오를 타임 랩스로 만들기

__도전 과제 | 타임 랩스 회전

__타임 랩스 비디오를 gif 파일로 저장

__깜짝 퀴즈 | 2차원 영상 필터링

__요약



8장. 비디오 취득과 처리

__디지털 비디오를 기록하기 위해 매트랩 사용

____Hardware Browser 창

____Information 창

____Desktop Help 창

____Preview 창

____Acquisition Parameter 창

____Session Log 창

__실습 예제 | 파이어와이어 연결을 이용한 비디오 캡처

__도전 과제 | 기록에 트리거 추가

__비디오 압축 중요성

____압축하지 않은 비디오 크기 확인

____아무런 움직임이 없는 MP4 비디오 크기 확인

____움직임이 많은 MP4 비디오 크기 확인

__압축하지 않은 비디오로 작업

____영상 편집에서 큰 비디오로 작업

__실습 예제 | 에지 검출 비디오 생성

__도전 과제 | 처리한 최종 프레임 덩어리를 가져오기

__깜짝 퀴즈 | 함수에 어떤 문제가 있나?

__타임 랩스 비디오용 프레임 취득

____취득 하드웨어 검출

____비디오 객체 생성한 후, 프레임 취득

__실습 예제 | 인터벌라미터로서 매트랩 사용

__도전 과제 | 타임 랩스 함수 생성

__타임 랩스 비디오의 실시간 처리

__실습 예제 | 컬러를 분리한 타임 랩스 생성

__일반 비디오의 실시간 처리

____간단한 예제로 실시간 능력 평가

__실습 예제 | 비디오의 대비 조정

____대비 조정 예제 재검토

__실습 예제 | 코드에 프리뷰 추가

__도전 과제 | 코드의 속도를 두 배로 향상

__깜짝 퀴즈 | 비디오 취득과 처리

__요약



9장. 시공간 처리

__매트랩으로 기본 비디오 처리

____비디오를 잘라낸 후, 크기 조정

__실습 예제 | 불러오기, 잘라내기, 크기 조정, 비디오 저장

__도전 과제 | 회전 추가와 더 많은 오류 검사

____비디오 프레임 필터링

__실습 예제 | 블록킹 효과 줄임

__매트랩에서 디인터레이싱 비디오

____디인터레이싱 작업을 위한 인트라 프레임 필터링

__컴퓨터 비전 시스템 툴박스로 디인터레이싱

__실습 예제 | 비전 툴 박스를 이용한 비디오 인터레이싱

__도전 과제 | 디인터레이싱 방법 비교

__사용자 정의 함수로 디인터레이싱

__실습 예제 | 선 반복으로 디인터레이싱

__실습 예제 | 주사선 보간으로 디인터레이싱

__도전 과제 | 인터레이싱 방법 비교

__디인터레이싱 작업을 위한 인트라 프레임 필터링

____필드 병합으로 시간적 인터레이싱

__실습 예제 | 필드 병합으로 디인터레이싱

__도전 과제 | 필드 병합 방법 평가

__필드 평균화로 시간적 디인터레이싱

__실습 예제 | 필드 평균화로 디인터레이싱

__인트라 프레임과 인터 프레임 디인터레이싱 혼합

____디인터레이싱을 위한 수직과 시간적 보간

__실습 예제 | 수직과 시간적 보간 방법

__도전 과제 - 디인터레이싱 기술 비교

__필터에 새로운 차원 추가

____시공간 평균화 필터

__실습 예제 | 시공간 평균화 필터 구현

__도전 과제 | 시공간 미디언 필터 생성

____시공간 평균화를 위한 회선 사용

__실습 예제 | 회선을 이용한 시공간 평균화 필터

__깜짝 퀴즈 | 비디오와 필터

__요약



10장. 입문자에서 전문가로 - 움직임과 3D 처리

__비디오 내 움직임을 검출한 후, 추정

____움직임 검출

__실습 예제 | 정지 장면 내 움직이는 객체 검출

__실습 예제 | 복잡한 장면 내 움직임 검출

__도전 과제 | 자신만의 감시 시스템 만들기

__움직임 추정

____옵티컬 플로우를 이용한 움직임 추정

__실습 예제 | 혼-셩크 옵티컬 플로우로 사람 추적

__도전 과제 | 루카스-카나데를 이용한 옵티컬 플로우 추정

__실습 과제 | 옵티컬 플로우를 이용한 프레임 워핑

__도전 과제 | 자신만의 감시 시스템 만들기

__특징 추적을 이용한 카메라 움직임 보상

__실습 예제 | 불안정한 비디오 내 움직임 보상 위한 특징점 추적

__도전 과제 | 안정화 데모 설정 수정

__입체 영상을 갖고 작업하기

__실습 예제 | 왼쪽 비디오와 오른쪽 비디오로 3D 비디오 생성

__실습 예제 | 일반 비디오로 3D 비디오 생성

__도전 과제 | 3D 비디오 생성 함수 작성

__깜짝 퀴즈 | 비디오 프레임으로 작업하기

__요약



부록 A. 깜짝 퀴즈 정답

조지 시오카스 저자 조지 시오카스(George Siogkas)는 현재 그리스 뉴욕 전문대 공학정보학과장이다. 지난 4년 동안 전임강사로 가르쳤으며, 학계 연구 경험도 10년이 넘었다. 지능형 교통 시스템을 위한 컴퓨터 비전 분야의 박사 학위를 목표로 노력하는 과정 중에 매트랩 프로그래밍, 특히 영상과 비디오 처리 영역에 열정을 갖게 되었다.

그는 2013년 그리스의 파트라스 대학교에서 전자컴퓨터공학 박사 학위를 받았다.

저자에 관한 상세한 정보는 그의 웹 페이지(http://www.cvrlab.com/gsiogkas)를 방문해 확인할 수 있다.