kafka
-
2025 KafkaKRU(카프카 한국 사용자 모임) 2회 밋업 참석 후기Review 2025. 9. 11. 00:44
지난 9일에 여의도 IFC Three 건물에서카프카 밋업을 진행했다. 내가 들어가있는 카프카 오픈 채팅방에서 관련 공지가 떠서 확인했는데 때마침 내가 관심있어하는 주제인 AutoMQ와 아이스버그에 관련된 세션이 있어서 기대를 가지고 바로 신청했다. 커뮤니티나 채팅방에 제법 회원수가 있었고 35명만 뽑는 자리라서 제법 경쟁이 치열했지만 참가비 5000원을 바로 결제를 하고 다행이 참가 확정 안내 메일을 받아볼 수 있었다. 막상 참석하고보니 자리도 꽤 여유로웠고 참석하지 않은 사람도 있어서 좀더 규모있게 진행되었어도 괜찮겠다는 생각이 들었다.이건 호스트분께서도 장소가 처음이다보니 미처 예상치 못한 부분이라면서 환영사와 함께 추신을 덫붙였다. 밋업은 협찬 기업인 IBM의 건물에서 진행되었고 건물 화장실을 들르..
-
2023 NAVER deview trino, kafka 세션 리뷰Review/IT 2023. 3. 29. 00:07
CQuery: 우당탕탕 Trino와 썸타기 Hive+Tez vs Trino 하이브 대비 SQL 조회 성능이 매우 빠름 하이브는 Yarn에서 리소스를 할당받아 HDFS클러스터에서 데이터를 가져와 쿼리를 처리하는 시간 즉 얀 오버헤드와 쿼리타임이 합쳐진 시간이 전부 처리 시간이 됨 JVM위에서 띄우기 때문에 얀 오버헤드가 없음 코디네이터에서 필요한 메타데이터를 얻고 최적화된 쿼리플랜을 생성함 스케줄러에는 워커들에게 작업을 할당하면서 데이터 위치정보를 함께 넘겨줌 워커들에서 커넥터로 구분에 여러 디비에서 데이터를 가져와서 읽고 쓸 수 있음 여러 스테이지서 나눠진 파이프단위로 워커들의 메모리에 데이터를 올려서 처리 Trino 기능 커널, 디스크/네트워크 버퍼 등으로 20% 사용 Tread stacks, GC, ..