넷플릭스의 클라우드 엔지니어링

우리가 사는 지금의 시대는 사람들이 2000년대 초반의 PC보다 훨씬 좋은 성능의 컴퓨팅을, 매일 매일 다양한 모바일 기계들을 통해 소비하며 살아가고 있다. 모든 이의 주머니 속에 슈퍼컴퓨터가 있는 셈이다. 사람들은 이 장치를 통해 대화하고, 거래하고, 음악이나 영상을 소비하며 삶의 기쁨과 슬픔, 그리고 편의를 누리고 있다. 이 다양한 삶의 희로애락과 편의가 뭉쳐져 있는 각 개인의 모바일 장치를 통해 사업을 진행하는 것이 이제 매우 일반적이다. 무슨 사업을 생각하더라도 IT를 떼고 생각할 수 없다는 말이다. 이것은 분명 90년대 말, 2000년대와는 확연히 다른 시대적 상황이다. 사업의 생명주기에 이 사업을 구현한 소프트웨어가 함께한다. 소프트웨어의 생명주기가 곧 사업의 생명주기다. 따라서 소프트웨어는 사업을 충실히 반영해야 할 필요가 있으며 이것을 잘하는 기업과 잘하지 못하는 기업의 격차는 전례 없이 크다.

FAANG으로 압축되는 페이스북(Facebook), 아마존(Amazon), 애플(Apple), 넷플릭스(Netflix), 구글(Google)과 같은 회사들은 각자의 분야에서 2위 사업자들과 굉장한 격차를 보이며, 도무지 따라잡을 수 있을 것 같지 않다. 이런 회사들뿐만 아니라 인스타그램이나 에어비엔비, 우버, 리프트, 그랩, 틱톡 등 신규로 사업을 시작한 업체들도 폭발적으로 인기를 얻어 역시 해당 부분의 가장 강력한 사업자로 이름을 날리고 있기도 하다. 이들의 공통점은 바로 '기술 회사'라는 점이다. 그냥 기술이 아니라 소프트웨어와 데이터를 매우 잘 다루는 회사라는 것이다. 이들은 먼저 사업의 목표를 선명하게 하고, 이를 고객의 요구에 맞추어 점진적으로 개선하되 서비스의 중단이 없으며, 서비스를 통해 발생한 피드백을 통해 고객 스스로도 몰랐던 요구를 만들어 제공하는 기술을 가진 회사들이다. 운이 좋았던 것인지 나빴던 것인지 저자는 다양한 회사의 초창기에 엔지니어로서 참여했다. 이를테면 카페24로 알려진 심플렉스 인터넷이나 국산 원격제어 애플리케이션으로 잘 알려진 알서포트, 아마존웹서비스와 피보탈에 이르기까지 매우 작은 규모에서 시작해 결국 상장에 이르렀던 회사들의 초반을 함께해 왔다. 중반 이후 더 큰 규모가 되기까지 함께하지는 못했지만, 다녔던 회사들이 상장이라는 거대한 성공을 거둔다는 것은 분명 행복한 일이다. 이들 회사에서 엔지니어로서, 때로는 시스템 개발자로, 때로는 아키텍트로, 때로는 소프트웨어 엔지니어로 근무하는 동안 세상은 데이터센터에서 클라우드로 이전했고 대부분 사업의 핵심 역량은 IT로 전이 되었다.

2010년 이전에 어렵게 해결했던 문제들은 2010년 이후에 고민할 필요도 없는 것들이 되었다.

오늘날 많은 문제가 그러하다. "undifferentiated heavy lifting"이라는 말은 사업이 기술에 반영될 때 더욱 가치를 발한다. 사실 우리는 이미 누군가가 이루어 놓은 것들을 사용해 더 나은 것을 만들 수 있는 세상에 살고 있다. 예를 들어 리눅스 커널이나 컴퓨터에 그저 연결하기만 하면 동작하는 수많은 하드웨어, 라이브러리, 프레임워크, 언어 등은 기술의 선구자들에 의해 이미 존재하고 만들어져 있어 가져다 사용하기만 하면 되는 것들이다. 아파치 웹 서버가 없었다면, 아니 지금 당장 대다수의 서버 시스템에서 glibc가 없다면 어떤 일이 벌어질 것인지는 상상하기조차 어렵다.

더 쉬운 예로 만약 자바(JAVA)라는 언어가 없는 상태에서 신규로 웹서비스를 만든다면 어떨까. CGI부터 구현해야 할지도 모르겠다. 소프트웨어 엔지니어링 분야에서 존재하는 기술들을 사용해서 새로운 서비스를 만드는 것은 매우 익숙한 것이라고 볼 수 있다. 이 책에서 이런 익숙한 부분을 '클라우드'라는 환경을 통해 소개하고 싶었다. 즉, 누군가 뛰어나게 잘하고 있는 것들을 가져다가, 또는 그 콘셉트를 차용해서 바닥부터 새로 만드는 것이 아니라 빠르고 안전하게 사업을 반영하는 서비스를 만들어 내는 방법을 소개하고자 했다. 다년간의 방황 끝에 이 책에 주로 넷플릭스의 기술에 대한 이야기, 그리고 아마존과 피보탈에서의 경험을 바탕으로 한 이야기를 싣는 것이 좋겠다는 생각이 들었다. 따라서 책에는 이 회사들에 대한 이야기가 저자의 주관적 견해와 함께 소개된다. 소개되는 내용들에는 아마 익숙한 것들도 있을 것이고 아닌 것들도 있을 것이다.

2015년부터 마이크로서비스와 스프링 부트, 스프링 클라우드에 대해 소개하고 싶었지만 지금에는 더 좋은 설명으로 무장한 책들이 시장에 많이 소개되고 있다.

따라서 이 책의 활용 방법은 이런 기술들이 클라우드 네이티브라 불리는 것에 사용되고 있고 그것을 어떻게 하면 우리 서비스에 반영할 수 있을 것인가에 대한 큰 그림을 얻는 데 있다. 이는 비단 기술에 관한 것 뿐 아니라 조직과 문화에 대한 부분이 함께 필요한 것이므로 아마 종전의 많은 조직에서 그대로 수용하기에는 어려움이 있을지도 모르겠다.

아마존의 최고 경영자인 제프 베조스는 어느 인터뷰에서 이런 말을 했다. 자신은 복권에 당첨된 사람이고, 그 복권에 당첨될 수 있었던 것은 인터넷이라는 기술이 이미 세상에 있었기 때문이라고 했다. 이미 존재하는 생태계의 기술을 사용해 사업을 진행한 것이 본인에게 커다란 성공을 가져다주었다고 한다. 그래서 그는 그렇게 얻은 부를 다시 우주에 투자해서 인터넷과 같은 생태계를 만들고자 한단다. 현재 누구나 사업을 시작하고자 한다면 인터넷을 통해 그리고 이미 만들어진 수많은 오픈소스나 상용 도구들을 통해 낮은 진입 장벽으로 시작할 수 있었던 것처럼, 다음 세대들이 누구나 우주를 대상으로 낮은 비용을 통해 사업을 진행하게 하는 것이 꿈이며, 그런 세상이 도래하는 것을 본인 생애 안에서 보고 싶다고 한다. 이런 사상이 아마존웹서비스 탄생의 배경이라고도 볼 수 있겠다. 왜 많은 사람들은 사업을 시작할 때 높은 비용으로 서버를 구매하고, 네트워크를 구매하고, 소프트웨어를 구매해야 하는가. 이에 대한 대답이 아마존웹 서비스였으며, 이는 이제 수많은 사업자에게 없어서는 안 될 도구가 되었다.

이처럼 우리는 누군가 만들어 놓은 것들을 활용하고, 해결하기 어려운 문제들에 대한 힌트를 얻는 방법을 생각해야 할 필요가 있다. 새로운 것을 실험한 결과 이어진 실패를 통한 배움은 조직의 엔지니어링을 건강하게 만들 것이다. 따라서 이런 종류의 실패는 적극적으로 권장해야 할 필요가 있으며, 시스템적으로 다시 발생하지 않도록 하는 것이 바로 경험일 것이다.

모든 내용을 소개할 수는 없어 경험상 중요하다고 생각되는 내용을 우선으로 책에 담고자 했다. 이 책은 정독해서 하나씩 따라 해보기 같은 책이라기보다는, 가볍게 읽어 내려가며 현재 개발하고 있는, 또는 운용하고 있는 서비스에 대한 힌트를 얻는 용도로 사용하면 좋겠다.

마지막으로 이 분야에 종사하는 누구라도 오픈소스 생태계를 건너뛰고 많은 사용자의 모바일에서 동작하는 사업을 구현할 수 없다는 점을 강조하고 싶다. 오늘 한 번이라도 인터넷에 접근했다면 여러분은 누군가가 시간과 노력을 들여 만든 코드, 그리고 세상을 널리 이롭게 하기 위해 기꺼이 제공된 코드의 혜택을 받고 있음을 언급하고 싶다. 따라서 매번 비용을 지불하고 사용할 수는 없겠지만, 오픈소스가 곧 공짜라는 생각을 가지는 대신 오픈소스를 통해 다시 세상에 쓸모 있는 무언가를 만들 수 있다는 데에 조금이라도 감사한 마음을 가지면 어떨까

CHAPTER 01 넷플릭스

1.1 | 넷플릭스 소개

1.2 | 데브옵스와 클라우드

1.3 | 넷플릭스, 아마존이 다른 이유

1.4 | 넷플릭스에 대하여



CHAPTER 02 클라우드가 가져온 변화

2.1 | 모바일의 발전이 가져온 변화

2.2 | 다양한 기술의 조합

2.3 | 넷플릭스가 만든 서비스 구조

2.4 | 디지털 트랜스포메이션의 핵심

2.5 | 넷플릭스가 장애를 취급하는 방법

2.6 | 모든 것은 고장 날 수 있다



CHAPTER 03 넷플릭스의 도구들

3.1 | 클라우드 사용의 핵심

3.2 | 아마존웹서비스 기본

3.3 | 플랫폼 도구

3.4 | 트래픽의 분리, 엣지서비스

3.5 | 관측성 확보를 위한 도구

3.6 | 숨겨진 마이크로서비스, 고가용 캐시

3.7 | 장애에 대한 적극적 대응

3.8 | 넷플릭스의 컨테이너 사용

3.9 | 넷플릭스 도구 정리



CHAPTER 04 넷플릭스를 모델로 한 디지털 트랜스포메이션

4.1 | 넷플릭스의 자유와 책임

4.2 | 아마존

4.4 | 조직의 모습과 팀의 구성

4.5 | 신규/기존 조직에 대한 훈련

4.6 | 새로운 도구와 환경들

4.7 | 재사용 가능한, 풀 사이클 개발 환경

4.8 | 테스트

4.9 | 소프트웨어와 데이터 기술 내재화



CHAPTER 05 마치며: 제로다운타임을 향해

정윤진