전체 글
-
책 카프카 데이터 플랫폼의 최강자 리뷰Review/Book 2023. 12. 30. 20:19
무작정 카프카에 대해서 공부해보기 최근 회사에서 카프카를 프로젝트에 사용하게 되면서 여러 블로그나 도큐먼트들을 전전하며 파편적인 지식들만을 얻다가 카프카를 유지보수하게 될 일이 많이 생기게 되면서 기존 카프카의 기본적인 개념만 알고있었던 나는 실질적으로 어떤 아키텍쳐로 카프카가 활요오디는지 그리고 운영할 때 알아둬야하는 지식이나 주의해야 할 점은 무엇인지 등에 대해서 전반적으로 알아보려고 마음먹었을 때. 마침 이 책을 사두었던 것이 기억나서 꺼내서 다시 읽게 되었다. 다만 동명 저자의 최신 개정판인 '실전 카프카 개발부터 운영까지'라는 책 또한 구매하게 되어서 살짝 이 책의 위치가 애매해지게 되었는데, 그렇다고 아예 안읽을 수도 없어서 우선 가볍게 이 책을 읽고 다음으로 '실전 카프카 개발부터 운영까지'..
-
PrestoSQL to Trino Migration 할 때 주의할 점Programming 2023. 12. 22. 23:07
prestoSQL to Trino라고는 하지만 prestoSQL은 사실 Trino로 리브랜딩되기 전의 이름이므로 Trino의 메이저 업데이트라고 봐도 무방하다. 이 포스팅에서는 트리노의 메이저 업데이트 할 때 신경써야할 점들을 모은 내용이다. 사실 메이저 업데이트를 진행한 것은 아주 오래전이고 구성한 인프라별, Trino에 설치한 플러그인별로 증상이 상이하며 지엽적인 내용이 될 가능성이 높다고 생각해서 그 당시 포스팅으로는 작성하지 않고 있었던 찰나에 그래도 부분적으로 나마 나와 동일한 증상을 겪고 있을 사람들을 위해 기록을 남긴다. 메이저 업데이트를 하는 것보다 새로 설치하는 것이 낫다 항상 앞자리가 바뀌는 업데이트를 진행할 때마다 느끼는 생각이다. 업데이트를 진행하다보면 지금당장은 티가 안나더라도 어..
-
늦은 두번째 트리노 밋업 참여 후기log 2023. 12. 4. 22:13
세션만 달라지고 장고나 제공해주는 티셔츠, 음식 등은 지난번과 비슷했다. 두번째 세션까지 sk에서 주로 세션도 준비하고 했지만 다음번 세션부터는 다른 다양한 회사들이나 참여자들을 기다린다고 하니 다음번 세션이 좀더 기대된다. 사실 첫번째 세션이 좀더 원론적이고 좀더 미래지향적인 내용들이 많았어서 개인적으로 세션은 첫번째 세션이 더 마음에 들었다. Trino를 위한 실시간 Kappa 아키텍처 트리노 소개 페더레이트를 통해 이종디비간 연산 분산 쿼리 엔진으로써 대용량 데이터 쿼리 효율적 처리 실시간 Kappa 아키텍처 람다 아키텍처는 코드 중복과 시스템 복잡도 증가 하지만 카파 아키텍처는 코드 중복 제거와 복잡도 감소 목표 데이터 정합성 낮은 지연 시간 높은 처리량 대용량 데이터 쿼리 지원 이벤트를 트리노 ..
-
제3회 Kakao Tech Meet 늦은 후기log 2023. 12. 1. 19:49
판교 카카오 본사에서 카카오 테크밋을 한다고해서 주제도 마침 관심있는 카프카세션도 있고 나머지도 흥미로운 주제들인 것 같아서 참여하기로 했다. 하지만 아뿔사 내가 판교에 간다는것, 그리고 판교에서 주차를 한다는 것은 미처 상상도 하지 못했다. 따로 주차지원이 되는건 2시간까지가 한정이고 그 이후로는 살인적인 요금을 지불해야하므로 급하게 모두의 주차장을 통해서 일일권을 끊어서 사용했다. 근처 공용주차장을 믿고 무장정 차를 끌고갔는데, 판교의 평일 공용주차장은 이용을 아예 못한다고 보면된다. 그렇다고 대중교통을 이요하자니 조금 애매하고...아마 다음부터 판교에서 이런 밋업을 진행하게된다면 이러한 여건상 앞으로 가기 조금 꺼려질 것 같다. 그외에 카프카 세션 발표가 내가 자주 블로그와 유튜브, 책을 통해 익히..
-
데보션 카프카 사용자 밋업 후기log 2023. 11. 30. 18:32
첫번째 세션 발표자분께서는 코로나로 인해서 불참하시게 되어서 세션이 취소가 되었다. sk에서 데보션을 런칭하게 되면서 활발한 사용자 유도를 하기위한 독려 행사도 겸하기도 하는 듯 많은 경품행사와 프로모션이 진행되었다. 나는 그 많은 기회를 다 비켜가면서 당당히 하나도 상품을 받지 못했다.(...) 내가 애용해서 읽고있는 카프카책의 저자이신 고승범님께서 그곳에 계실줄 알았으면 책을 가지고 가서 사인을 받을 걸 그랬다. 내심 아쉬웠던 부분. 세션은 전반적으로 무난했으나 첫번째 세션이 취소되어서 조금 아쉬움 마지막 세션을 제외하면 카프카에 중점적으로 하는 세션이라기보다는 카프카가 곁들어진 느낌. 두번째 세션같은 경우는 인증/인가에 대한 개념을 익히기에는 좋았으나 카프카에 실 적용하기에는 규모에 따라서 오히려 ..
-
Confluent Kafka x Google Cloud Tech Day 정리log 2023. 11. 29. 16:55
6월달에 갔었던 행사라서...사실 지금 올리는게 무색하긴 하지만 정리 및 복기하는 겸 겸사겸사 올리게 된다. 카프카에 대해 막 관심이 올라가던 시점이라 신청해서 갔었는데 사실 전반적으로 아는 내용이기도하고 막 건질만한 내용은 크게 없었던 것 같아서 그냥 열심히 컨플루언트 홍보하는 내용만 있어서 다음부터 카프카를 목적으로는 가고싶은 생각이 크게 안들것 같은 행사였다. 컨플루언트쪽에서 주최한거라서 당연한 거긴 하다만 그래도 중간에 퀴즈같은게 있어서 맞춰서 책 한권을 꽁짜로 받아서 기분좋은 마음으로 집에 오긴했다. 데이터 스트리밍을 통한 실시간 데이터 활용 by Confluent 개요 19년도부터 구글 클라우드가 GCP 마켓플레이스에서 제공 및 과금 파트너쉽 맞춤형 추천, 실시간 거래, 도착 예상 시간 등 실..
-
3회 수군수군 데이터엔지니어 밋업 후기log 2023. 11. 25. 22:41
수군수군 2회차에 이어서 3회에도 참여했다. 지난회와 조금 다른점들이 조금 눈에 띄었는데 지난회에 비해서 좌석이 다소 협소하다는 점과 기존에 피자와 치킨이었던 것에 비해 서브웨이로 단촐(?)하게 차려진 음식이 바뀌었다는 점, 그리고 생각보다 발표하는 내용과 주제들과 수준이 이전에 비해서 상당히 깊고 심오해졌다는 점이다. 전에는 POC같이 그냥 소개하는 수준의 내용도 부담없이 발표하고 토론하는 분위기었다면 좀더 실질적이고 경험적인 내용으로 변했다. 덕분에 나도 한번 발표를 해볼까 싶다가도 수준미달이 되어버릴 것 같은 두려움에 금새 그 마음을 접어버렸다. 기존에는 자리가 테이블로 잘 나뉘어져있어서 편하게 노트북하면서 세션들을 들을 수 있었는데 쇼파자리랑 테이블자리가 나뉘어져있고 모두 각자 모여서 이야기하기는..
-
토스 slash23 데이터 세션 정리Review/IT 2023. 7. 1. 08:20
은행 데이터플랫폼 오픈소스로 전환하기 기존 정보계 시스템의 문제점 토스뱅크는 초기에 타은행 시스템 구조를 그대로 따와서 구축이 되었고, 타 은행들과 동일하게 계정계, 채널계, 정보계 세가지 영역으로 구성됨 mysql뿐만 아니라 MongoDB같은 NoSQL도 하둡으로 보내 분석에 활용하고 있다 보고서를 위해서 이런 데이터들을 오라클엑사로 다시 보내야하는 문제가 있어서 불필요한 데이터 이동이 생김 오라클 엑사의 비용이 하둡에 비해 10배나 높았으므로 하둡으로 시스템을 통합하려는 목표 기존에 잘 돌고 있는 정보계 시스템을 옮기는 방법 Concern & Challenge 기존에 잘 돌고 있는 것을 무엇으로, 어떻게 대체할 것인가 기존 시스템과 동일한 값임을 어떻게 보장할 것인가 이미 구축한 상황에서 옮기는데 드..