카카오
-
(if Kakao 2024)최적의 CDC 시스템 구축기 세션 정리Review 2025. 3. 2. 02:13
CDCCDC란 Change Data Capture의 약자로 데이터베이스에서 발생하는 변경 사항을 실시간으로 추적하고 기록하는 기술쿼리기반과 로그기반 두가지 CDC 방식이 있는데 쿼리 기반은 주기적으로 풀스캔 쿼리를 실행하게된다면 DB에 부하가 가해짐, 로그 기반은 트랜잭션 로그 기반으로 변경 사항을 추출하기 때문에 DB에 부하가 일어나지 않음CDC의 사용 사례고민사항여러가지 카카오 데이터들중에 민감 데이터는 마스킹이나 파싱을 통해서 파이프라인에 어떻게 녹여야하는지 많은 고민을 함초대규모 데이터를 어떻게 빠르게 처리해야할지정합성 검증을 어떻게 해야할지효율적인 적재 시스템이란 무엇인지Debezium가장 대중적인 트랜잭션 로그 기반 CDC 오픈소스카프카 커넥트 기반으로 동작다양한 DBMS 지원실시간으로 오프셋..
-
if kakao 2024 주키퍼 없이 운영하는 카프카 운영 노하우 세션 정리Review 2025. 2. 11. 23:09
if kakao 2024 컨퍼런스에서 재밌거나 나에게 유용하다고 생각하는 세션들을 정리하는 포스팅입니다. 원래는 세션들을 하나의 포스트에 정리하려고 했었는데 영상 하나의 길이가 30분이 넘어가고 다 중요하다고 생각해서 하나하나 정리하다보니 막상 생각보다 너무 길어지게 되어 세션별로 글을 나누게 되었습니다. 시작하기전에발표배경카카오에서 2022년 if 카카오에 카프카 운용후기를 발표했는데 당시 Kfrat모드를 적용할 예정이었던 것을 소개한 적 있음2022년 발표당시 3.3.1버전이었고 현재 3.8.0을 사용하고 있음버전이 올라가면서 여러 패치와 성능 개선이 있었음 발맞춰서 Kraft 모드로 변경함주키퍼 없는 카프카기존 주키퍼의 문제점리더 파티션 변경이 이루어졌을 때 주키퍼와 카프카 컨트롤러 그리고 다른 브..