2025 KafkaKRU(카프카 한국 사용자 모임) 2회 밋업 참석 후기

지난 9일에 여의도 IFC Three 건물에서카프카 밋업을 진행했다. 내가 들어가있는 카프카 오픈 채팅방에서 관련 공지가 떠서 확인했는데 때마침 내가 관심있어하는 주제인 AutoMQ와 아이스버그에 관련된 세션이 있어서 기대를 가지고 바로 신청했다. 커뮤니티나 채팅방에 제법 회원수가 있었고 35명만 뽑는 자리라서 제법 경쟁이 치열했지만 참가비 5000원을 바로 결제를 하고 다행이 참가 확정 안내 메일을 받아볼 수 있었다. 막상 참석하고보니 자리도 꽤 여유로웠고 참석하지 않은 사람도 있어서 좀더 규모있게 진행되었어도 괜찮겠다는 생각이 들었다.

이건 호스트분께서도 장소가 처음이다보니 미처 예상치 못한 부분이라면서 환영사와 함께 추신을 덫붙였다. 

밋업은 협찬 기업인 IBM의 건물에서 진행되었고 건물 화장실을 들르는 길에 인상깊은 IBM 로고를 보았다.

아이비엠 말그대로 눈이랑 벌이랑 M인데, 직관적이면서도 살짝은 아재스럽고 세로로 모아보니 사람 캐릭터 형상같기도하고 재밌어서 사진으로 남겨봤다.

순서는 등록과 함께 명찰과 디너박스를 받고 밥을 먹으면서 대기를 하면 세션과 네트워킹 시간이 진행된다. 하지만 사진에서 세션을 보면 아이스버그를 전혀 확인할 수 없는데, 호스트분의 말로는 갑자기 발표자분이 오늘 몸이 안좋아져서 취소가 되었고 급하게 IBM의 미리 준비된 세션으로 대체되었다는 소식을 전달받았다. 저 두개의 세션때문에 참석했던 터라 큰 낭패가 아닐 수 없으나 그래도 아직 autoMQ 세션은 남았으므로 물이 반이나 남았다는 긍정적인 마인드로 회피기동.

그리고 특히 밥이 맛있었다. 나는 고작 5000원만 냈을 뿐인데 이리 황송히 대접해주시다니. 불고기가 살짝 단것 빼고는 구성과 맛, 흠잡을때 없었다. 안에 물티슈와 구취제거용(?)폴로사탕도 들어있어서 어떤 분이 의뢰를 맡겼는지는 모르겠지만 아주 센스있었다. 세션이 취소된거에 한층 뿔나있던 전부 수그러들었다. 완전 선녀인 이번 밋업!

밥을 맛나게 먹고 첫번째 세션부터 듣기 시작!

kafka 그 이상: Enterprise를 위한 EDA의 완성 - 김민지님

• 왜 EDA(이벤트 드리븐 아키텍처)?→ 이제는 시대가 많이 바뀌어서 AI까지 등장. 새로운 아키텍처에 맞는 구조에 대해서 생각하다 예전보다 느슨한 결합, 배치보다는 실시간 처리, 실시간 데이터 수집 및 분석 중요도가 많이 올라갔다는 것을 확인
• 기업들은 여러 이슈들이 존재함 중복없이 잘 재사용할 수 있을지, 포맷이 달라지는 경우
  • 하나의 관리 화면에서 토픽 생성 및 배포해서 낭비되는 리소스가 없는지 모니터링 가능
  • 이벤트 게이트웨이를 통해서 이벤트 접근 및 유량 관리
  • GUI로 드래그 앤 드랍으로 이벤트를 결합하고 내장된 필터와 표현식을 통해 데이터 재처리 가능
• 플링크 기반에 gui를 통해 데이터 프로세싱 가능
• 카프카를 이벤트 스트림즈로 랩핑해서 지원함
• 표준화된 api 형식으로 토픽을 정의가능→ 서로 다른 조직들끼리 이벤트를 쉽게 검색에 도움

• 개인적으로는 특히 데이터 프로세싱에서 타임윈도우를 설정하는 부분에 UI로 직관적으로 시간을 표시해줘서 설정하는데 도움이 될것같다

더 이상 kafka만 몰아주지 마세요: 로그는 AutoMQ로 흘려 보내기 - 정유진님

• LGU+ 컨플루언트 카프카 사용중
• cdc를 이용한 트랜잭션 보장
• 퍼블릭 1.6억건, 프라이빗 0.6억건 메세지 사용중

• 플루언트d가 수집해서 오픈서치로 수집
• 로그 위주기때문에 오브젝트 스토리지를 활용해서 비용 효율적인 데이터 보관을 목표 그러기위에 리서치중에 AutoMQ를 발견함

• autoMQ
  • 카프카api와 완전 호환
  • 유연한 스케일인 스케일 아웃 가능
  • stateless한 브로커가 특징
  • 오브젝트 스토리지에 저장해서 브로커가 재시작 교체되도 데이터 보존
  • 오브젝트 스토리지를 사용해서 레이턴시를 생각해야하지만 실시간성보다는 비용 효율에 초점을 맞춤

스트림을 더 똑똑하게: Instana로 가시화한 Kafka 모니터링

• 비즈니스 속도에 맞춰서 통합적으로 AI기능이 주입되어서 자동화 기술을 처리
• 옵저버빌리티가 중요→ 외부에서 바라봐도 한눈에 이해할 수 있게 만드는 솔루션
• 통합 모니터링
• 과거 데이터로부터 이상 징후를 감지해서 alert 발송

뭔가 카프카나 인스타나가 여러 모니터링을 지원하는 어플리케이션 중에 하나일 뿐이고 그냥 세션이 펑크나서 급조한 느낌으로 제목에 카프카를 끼워넣은 느낌이 있기는 하지만, 아무튼 들으면서 데이터독같은 느낌이구나~생각이 들면서 저번 구글 AI 에이전트에서 데이터독을 소개할때가 생각났다.

이런식으로 AI 기능을 통해서 에러 로깅을 분석하고 해결방안까지 내주는 솔루션을 업데이트했다고 했는데 비슷한 솔루션들끼리 진화도 비슷하게 하고있구나하는 생각이 들었다.

사실 세션 세개중에 두개가 IBM 제품에 대한 내용이라서 돈내고 제품 광고하는거 들으러 온거 아닌가 하는 의구심도 들긴했지만 앞서 언급한대로 밥이 너무 맛있었고, (설문지를 내고)받은 선물도 딱 내가 필요로하던 거라서 나름 간만에 여의도 외출도하고 좋았다. IBM이라는 기업에 대해서는 알고있었지만 컨플루언트나 AWS외에도 IBM에서도 Saas서비스를 하고있었구나하는 몰랐던 것도 알게되었고 여러가지로 손해는 아니었던 것 같다.

다만 예정되어있던 네트워킹시간이 아무래도 강제적이지는 않았다보니까 I성향이 짙은 개발자들이 모여서 그런가 대부분 귀가를 선택했다. 나는 좀더 다른 사람들이 어떻게 카프카를 사용하고 있는지도 들어보고 싶었는데..(물론 아무나 붙잡고 물어볼 용기는 없었음)

그래서 나도 다른 개발자들처럼 귀가를 선택했지만 다음 밋업때는 강제적이라도(물론 바쁜 사람은 예외) 그룹을 지어서 대화를 나누게 만들어주셨으면 좀더 내향적인 개발자들이 네트워킹을 하기 편하지 않았을까하는 생각이 든다.