Review/IT
-
늦은 GCP AI Agents Live + Labs Seoul 후기Review/IT 2025. 9. 28. 17:14
7월 8일 8시30분부터 코엑스 컨벤션센터에서 AI Agents를 주제로 구글클라우드에서 컨퍼런스를 진행했다. 사람들이 엄청 줄서있는데 접수 데스크가 여러개고 확인히 상당히 빠르게 진행되어서 줄선거에 비해서 비교적 수월하게 입장 티켓과 중요한 점심식사 쿠폰 목걸이를 받을 수 있었다.7월달에 한 컨퍼런스를 왜 이제 올리느냐고한다면...그간 바빴다는 핑계밖에 댈 일이 없지만, 반대로 왜 7월달에 열린 이벤트를 이제서라도 올리려고 한다면 할말이 많다. 기대감을 가지고 참석한 만큼 실망감도 그만큼 컸기 때문인데 할말들을 머리속으로 생각하고 정리하다가 개인적인 일정들과 얽혀 늦어졌다고...밖에 일단은 더이상 할말이 없다.실망감에 대한 내용은 나중에 후술하도록할텐데 일단 시작은 좋았다.첫 오프닝은 흔히 과학 커뮤니..
-
토스 slash23 데이터 세션 정리Review/IT 2023. 7. 1. 08:20
은행 데이터플랫폼 오픈소스로 전환하기 기존 정보계 시스템의 문제점 토스뱅크는 초기에 타은행 시스템 구조를 그대로 따와서 구축이 되었고, 타 은행들과 동일하게 계정계, 채널계, 정보계 세가지 영역으로 구성됨 mysql뿐만 아니라 MongoDB같은 NoSQL도 하둡으로 보내 분석에 활용하고 있다 보고서를 위해서 이런 데이터들을 오라클엑사로 다시 보내야하는 문제가 있어서 불필요한 데이터 이동이 생김 오라클 엑사의 비용이 하둡에 비해 10배나 높았으므로 하둡으로 시스템을 통합하려는 목표 기존에 잘 돌고 있는 정보계 시스템을 옮기는 방법 Concern & Challenge 기존에 잘 돌고 있는 것을 무엇으로, 어떻게 대체할 것인가 기존 시스템과 동일한 값임을 어떻게 보장할 것인가 이미 구축한 상황에서 옮기는데 드..
-
2023 NAVER deview trino, kafka 세션 리뷰Review/IT 2023. 3. 29. 00:07
CQuery: 우당탕탕 Trino와 썸타기 Hive+Tez vs Trino 하이브 대비 SQL 조회 성능이 매우 빠름 하이브는 Yarn에서 리소스를 할당받아 HDFS클러스터에서 데이터를 가져와 쿼리를 처리하는 시간 즉 얀 오버헤드와 쿼리타임이 합쳐진 시간이 전부 처리 시간이 됨 JVM위에서 띄우기 때문에 얀 오버헤드가 없음 코디네이터에서 필요한 메타데이터를 얻고 최적화된 쿼리플랜을 생성함 스케줄러에는 워커들에게 작업을 할당하면서 데이터 위치정보를 함께 넘겨줌 워커들에서 커넥터로 구분에 여러 디비에서 데이터를 가져와서 읽고 쓸 수 있음 여러 스테이지서 나눠진 파이프단위로 워커들의 메모리에 데이터를 올려서 처리 Trino 기능 커널, 디스크/네트워크 버퍼 등으로 20% 사용 Tread stacks, GC, ..
-
한국 데이터 엔지니어 모임 연사로 참여한 후기Review/IT 2023. 3. 26. 02:51
첫번째 밋업 개발관련 컨퍼런스에 참여한 것은 몇번 있었지만, 네트워킹을 위한 밋업 참여는 이번이 처음이다. 50~60명 규모로 모집되어 거의 2:1의 경쟁률로 거의 100명가까이 신청 했다고 한다. 한국 데이터 엔지니어 모임은 카카오톡 오픈챗방으로 벌써 1300명이 넘는 인원이 상주하며 데이터 엔지니어 직군과 관련된 정보와 질문들을 서로 공유하고 있다. 나도 그 톡방에 상주하며 여러 트렌드도 읽고 궁금한 점에 대해서는 질문도 하고, 때로 내가 아는 내용이 나오면 답변도 하면서 활동하고 있다.ㅡ활동명은 비밀이다. 채팅방에 팀장님도 계신다고 하여서 운신의 폭을 넓히기 위해서 조용하고 은밀하게 활동중이다.ㅡ그러던 중에 채팅방에서 제 2회 한국 데이터 엔지니어 모임 밋업을 진행한다는 공지를 보게 되었고 나는 이..
-
2022 Airflow Summit - Implementing Event Based Dags with AirflowReview/IT 2022. 8. 28. 16:44
https://airflowsummit.org/sessions/2022/ 에어플로우 2022 summit의 세션중에 Implementing Event Based Dags with Airflow 세션을 번역하고 정리한 내용입니다. Airflow Summit 2022 sessions Airflow summit is the premier conference for the worldwide community of developers and users of Apache Airflow. airflowsummit.org 발표자는 데이터 엔지니어링 컨설턴트 Astronomer의 리드 엔지니어 time-based scheduling은 새벽5시에 땡하고 출발하는 마라톤에 비유 Event-based triggering은 팀..
-
데이터쟁이들을 위한 리소스 관리 플랫폼 Backend.AIReview/IT 2021. 7. 26. 01:49
오픈소스 컨트리뷰션 아카데미 Backend.AI라는 오픈소스 프로젝트를 알게 된 것은 오픈소스 컨트리뷰션 아카데미라는 과학 기술 정보 통신부에서 주최하며 프로젝트의 코어 개발자들의 멘토들에게 직접 멘토링을 받으며 오픈소스에 기여하고 평가받는 정부 프로그램이다. 최근에 github 잔디 심기에 몰두하면서 오픈소스 생태계에 대해 관심이 많이 생겼는데 그 관심을 살릴 수 있는 기회인 것 같아서 내 입맛에 맞는 프로젝트를 찾던 도중 발견한 것이 바로 이 Backend.AI였다. Backend.ai는 어떤 프로젝트인가? 왜 하필 이 프로젝트에 관심이 생겼는가는 지금 하고있고 고민하고 있는 일과 맞닿아있다. 우선 이 프로젝트에 대해서 소개하자면 Backend.AI는 오픈소스 리소스 관리 플랫폼이다. 클라우드로도 제..
-
예쁜 키보드 바밀로 저소음 적축 매화 에디션 리뷰Review/IT 2021. 2. 13. 23:26
사건 개요 최근에 키보드를 한개 더 구매했다. 키크론 기계식 키보드를 구입하고서 추가적으로 키보드를 구입하게 된 셈이다. 사실 키크론 키보드는 맥을 사용하게 되면서 외장 모니터를 사용하게 되었고 또 외장 모니터를 사용하기 위한 데스크 셋업에는 키보드가 필수 불가결하기 때문에 필요에 의해서 구입한 측면이 컸다. 하지만 이번 지름은 굳이 안 질러도 됐지만 핑계를 대자면 집에 있는 데스크탑 컴퓨터의 키보드가 낡고 오래된 멤브레인 키보드였기 때문에 바꾸기 위함이었다. 그것이 사실이기도 했고(PS2 입력 방식의 멤브레인 키보드를 거의 약 5년 이상 사용했다.) 뭐 핑계는 그럴싸하게 가져다가 붙였지만 계기가 된 것은 얼마전에 해피해킹의 무접점 키보드를 빌려서 사용한 것을 기점으로 키보드계에 눈 떠버리게 된 것이다...
-
클럽하우스 안하는게 오히려 더 힙할지도?Review/IT 2021. 2. 12. 23:58
요새 클럽하우스가 여러가지로 많은 세간의 관심을 끌고 있습니다. 사실 클럽하우스에 대해서 글을 쓰자고 생각한건 훨씬 이전이기는 하지만 이미 블로그나 기사로 많은 곳에서 소개되는 바람에 이제는 이미 클럽하우스에 대한 이야기는 식상하게 되어버린지 오래가 되버렸죠. 그래서 사실 클럽하우스가 어떤 것인가에 대해서 논하기 보다는 이제는 살짝 거리를 두고서 관조적인 입장으로 클럽하우스에 대해서 짧게 남겨보려고 합니다. 나는 클럽하우스가 뭔지 모르는데? 그래도 여전히 아직 클럽하우스가 뭔지 모르는 사람들이 있을 수 있습니다. 간단하게 설명하자면 디스코드같은 보이스 채팅을 기반으로 한 소셜 네트워크 서비스입니다. 한 사람이 연설하듯이 쭉 말을 하고 나머지가 듣는 식이 아니라 그룹콜 같은 느낌으로 여러명이 모여서 수다를..