책 카프카 데이터 플랫폼의 최강자 리뷰

무작정 카프카에 대해서 공부해보기

최근 회사에서 카프카를 프로젝트에 사용하게 되면서 여러 블로그나 도큐먼트들을 전전하며 파편적인 지식들만을 얻다가 카프카를 유지보수하게 될 일이 많이 생기게 되면서 기존 카프카의 기본적인 개념만 알고있었던 나는 실질적으로 어떤 아키텍쳐로 카프카가 활요오디는지 그리고 운영할 때 알아둬야하는 지식이나 주의해야 할 점은 무엇인지 등에 대해서 전반적으로 알아보려고 마음먹었을 때. 마침 이 책을 사두었던 것이 기억나서 꺼내서 다시 읽게 되었다.
다만 동명 저자의 최신 개정판인 '실전 카프카 개발부터 운영까지'라는 책 또한 구매하게 되어서 살짝 이 책의 위치가 애매해지게 되었는데, 그렇다고 아예 안읽을 수도 없어서 우선 가볍게 이 책을 읽고 다음으로 '실전 카프카 개발부터 운영까지'라는 책을 읽기로 결정했다.
'실전 카프카 개발부터 운영까지'는 이 책의 개정판이라는 개념보다는 이 책이 워낙 발행일도 오래전이고 카프카의 버전도 많이 바뀌다보니 최신의 경향과 기술을 담는 것에는 한계가 있어서 저자가 아예 새롭게 쓴 책에 더 가깝다.
기본적인 설계나 카프카의 구성 자체는 동일하기 때문에(최근에 카프카의 코디네이터로 주키퍼에서 크래프트로 변경된 것을 제외한다면)이 책으로 카프카 자체만 놓고 보기에는 부족함이 없겠다 싶어서 이 책을 먼저 읽기 시작했다.
다만 나와 상관없는 내용(설치 환경과 같은)이거나 너무 현재 사용하는 스택에서 동떨어진 것들은 그냥 이런게 있구나하고 읽고 넘어가는 식으로 진행하기로 했다.

카프카란 무엇인가?

카프카는 미국의 대표적인 비즈니스 인맥 소셜네트워크 서비스인 링크드인에서 처음 출발한 기술로, 대용량, 대규모 메시지 데이터를 빠르게 처리하도록 개발된 메시징 플랫폼이다.
카프카와 기존의 메시징 시스템과 가장 다른 특징 중 하나는 바로 디스크에 메시지를 저장하고 유지하는 것이다. 일반적인 메시징 시스템들은 컨슈머가 메시지를 읽어가며 큐에서 바로 메시지를 삭제한다. 하지만 카프카는 컨슈머가 메시지를 읽어가더라도 정해져 있는 보관 주기 동안 디스크에 메시지를 저장해둔다.(리텐션)

이 책을 통해 알게된 사실

카프카SQL에 대한 내용이나 카프카 스트림즈 아키텍처와 스트림 파이프라인에 나이파이를 활용한 내용 등이 나에 카프카 지식에 대해서 알고싶었지만 몰랐던 블랙박스의 영역이었는데 이 책을 통해서 간접적으로 체험하고 그 개요를 알게되었다.

이 책의 장점과 단점

장점

• 자바와 파이썬 등 다양한 언어로 예제를 보여줘서 각자 필요한 언어에 맞게 프로듀서나 컨슈머를 제작하거나 이해할 수 있다.
• 카프카 뿐만이 아니라 카프카를 활용하는 다양한 스택들을 보여줘서 어떤 환경과 프로덕션 레벨에서 카프카의 운영이 이루어지는지 간략하게 파악할 수 있다

단점

• 다양한 언어의 예제만큼이나 자신한테 필요없는 부분이 많다. 다 알아두면 좋지만 취사 선택하기에 환경 셋팅 부분이나 언어부분 등은 스킵해서 봐야할 부분들이 많다.
• 책이 출간한지 꽤 된 책이다보니 오래된 스택들이나 지금은 잘 사용하지 않는 프레임워크들이 등장한다.