Review/IT
-
토스 slash23 데이터 세션 정리Review/IT 2023. 7. 1. 08:20
은행 데이터플랫폼 오픈소스로 전환하기 기존 정보계 시스템의 문제점 토스뱅크는 초기에 타은행 시스템 구조를 그대로 따와서 구축이 되었고, 타 은행들과 동일하게 계정계, 채널계, 정보계 세가지 영역으로 구성됨 mysql뿐만 아니라 MongoDB같은 NoSQL도 하둡으로 보내 분석에 활용하고 있다 보고서를 위해서 이런 데이터들을 오라클엑사로 다시 보내야하는 문제가 있어서 불필요한 데이터 이동이 생김 오라클 엑사의 비용이 하둡에 비해 10배나 높았으므로 하둡으로 시스템을 통합하려는 목표 기존에 잘 돌고 있는 정보계 시스템을 옮기는 방법 Concern & Challenge 기존에 잘 돌고 있는 것을 무엇으로, 어떻게 대체할 것인가 기존 시스템과 동일한 값임을 어떻게 보장할 것인가 이미 구축한 상황에서 옮기는데 드..
-
2023 NAVER deview trino, kafka 세션 리뷰Review/IT 2023. 3. 29. 00:07
CQuery: 우당탕탕 Trino와 썸타기 Hive+Tez vs Trino 하이브 대비 SQL 조회 성능이 매우 빠름 하이브는 Yarn에서 리소스를 할당받아 HDFS클러스터에서 데이터를 가져와 쿼리를 처리하는 시간 즉 얀 오버헤드와 쿼리타임이 합쳐진 시간이 전부 처리 시간이 됨 JVM위에서 띄우기 때문에 얀 오버헤드가 없음 코디네이터에서 필요한 메타데이터를 얻고 최적화된 쿼리플랜을 생성함 스케줄러에는 워커들에게 작업을 할당하면서 데이터 위치정보를 함께 넘겨줌 워커들에서 커넥터로 구분에 여러 디비에서 데이터를 가져와서 읽고 쓸 수 있음 여러 스테이지서 나눠진 파이프단위로 워커들의 메모리에 데이터를 올려서 처리 Trino 기능 커널, 디스크/네트워크 버퍼 등으로 20% 사용 Tread stacks, GC, ..
-
한국 데이터 엔지니어 모임 연사로 참여한 후기Review/IT 2023. 3. 26. 02:51
첫번째 밋업 개발관련 컨퍼런스에 참여한 것은 몇번 있었지만, 네트워킹을 위한 밋업 참여는 이번이 처음이다. 50~60명 규모로 모집되어 거의 2:1의 경쟁률로 거의 100명가까이 신청 했다고 한다. 한국 데이터 엔지니어 모임은 카카오톡 오픈챗방으로 벌써 1300명이 넘는 인원이 상주하며 데이터 엔지니어 직군과 관련된 정보와 질문들을 서로 공유하고 있다. 나도 그 톡방에 상주하며 여러 트렌드도 읽고 궁금한 점에 대해서는 질문도 하고, 때로 내가 아는 내용이 나오면 답변도 하면서 활동하고 있다.ㅡ활동명은 비밀이다. 채팅방에 팀장님도 계신다고 하여서 운신의 폭을 넓히기 위해서 조용하고 은밀하게 활동중이다.ㅡ그러던 중에 채팅방에서 제 2회 한국 데이터 엔지니어 모임 밋업을 진행한다는 공지를 보게 되었고 나는 이..
-
2022 Airflow Summit - Implementing Event Based Dags with AirflowReview/IT 2022. 8. 28. 16:44
https://airflowsummit.org/sessions/2022/ 에어플로우 2022 summit의 세션중에 Implementing Event Based Dags with Airflow 세션을 번역하고 정리한 내용입니다. Airflow Summit 2022 sessions Airflow summit is the premier conference for the worldwide community of developers and users of Apache Airflow. airflowsummit.org 발표자는 데이터 엔지니어링 컨설턴트 Astronomer의 리드 엔지니어 time-based scheduling은 새벽5시에 땡하고 출발하는 마라톤에 비유 Event-based triggering은 팀..
-
데이터쟁이들을 위한 리소스 관리 플랫폼 Backend.AIReview/IT 2021. 7. 26. 01:49
오픈소스 컨트리뷰션 아카데미 Backend.AI라는 오픈소스 프로젝트를 알게 된 것은 오픈소스 컨트리뷰션 아카데미라는 과학 기술 정보 통신부에서 주최하며 프로젝트의 코어 개발자들의 멘토들에게 직접 멘토링을 받으며 오픈소스에 기여하고 평가받는 정부 프로그램이다. 최근에 github 잔디 심기에 몰두하면서 오픈소스 생태계에 대해 관심이 많이 생겼는데 그 관심을 살릴 수 있는 기회인 것 같아서 내 입맛에 맞는 프로젝트를 찾던 도중 발견한 것이 바로 이 Backend.AI였다. Backend.ai는 어떤 프로젝트인가? 왜 하필 이 프로젝트에 관심이 생겼는가는 지금 하고있고 고민하고 있는 일과 맞닿아있다. 우선 이 프로젝트에 대해서 소개하자면 Backend.AI는 오픈소스 리소스 관리 플랫폼이다. 클라우드로도 제..
-
예쁜 키보드 바밀로 저소음 적축 매화 에디션 리뷰Review/IT 2021. 2. 13. 23:26
사건 개요 최근에 키보드를 한개 더 구매했다. 키크론 기계식 키보드를 구입하고서 추가적으로 키보드를 구입하게 된 셈이다. 사실 키크론 키보드는 맥을 사용하게 되면서 외장 모니터를 사용하게 되었고 또 외장 모니터를 사용하기 위한 데스크 셋업에는 키보드가 필수 불가결하기 때문에 필요에 의해서 구입한 측면이 컸다. 하지만 이번 지름은 굳이 안 질러도 됐지만 핑계를 대자면 집에 있는 데스크탑 컴퓨터의 키보드가 낡고 오래된 멤브레인 키보드였기 때문에 바꾸기 위함이었다. 그것이 사실이기도 했고(PS2 입력 방식의 멤브레인 키보드를 거의 약 5년 이상 사용했다.) 뭐 핑계는 그럴싸하게 가져다가 붙였지만 계기가 된 것은 얼마전에 해피해킹의 무접점 키보드를 빌려서 사용한 것을 기점으로 키보드계에 눈 떠버리게 된 것이다...
-
클럽하우스 안하는게 오히려 더 힙할지도?Review/IT 2021. 2. 12. 23:58
요새 클럽하우스가 여러가지로 많은 세간의 관심을 끌고 있습니다. 사실 클럽하우스에 대해서 글을 쓰자고 생각한건 훨씬 이전이기는 하지만 이미 블로그나 기사로 많은 곳에서 소개되는 바람에 이제는 이미 클럽하우스에 대한 이야기는 식상하게 되어버린지 오래가 되버렸죠. 그래서 사실 클럽하우스가 어떤 것인가에 대해서 논하기 보다는 이제는 살짝 거리를 두고서 관조적인 입장으로 클럽하우스에 대해서 짧게 남겨보려고 합니다. 나는 클럽하우스가 뭔지 모르는데? 그래도 여전히 아직 클럽하우스가 뭔지 모르는 사람들이 있을 수 있습니다. 간단하게 설명하자면 디스코드같은 보이스 채팅을 기반으로 한 소셜 네트워크 서비스입니다. 한 사람이 연설하듯이 쭉 말을 하고 나머지가 듣는 식이 아니라 그룹콜 같은 느낌으로 여러명이 모여서 수다를..
-
프로그래머 작업용 키보드 끝판왕 해피해킹 사용후기Review/IT 2020. 12. 13. 15:16
우연히 해피해킹 프로페셔널 3세대 하이브리드 타입S형을 사용해 볼 기회가 생겨서 키크론 k8을 잠시 치워두고 기계식 키보드의 끝판왕이라고 불리우는 해피해킹을 써봤습니다. 해피해킹의 동일 세대에서도 여러가지 모델이 갈리는데 그 중에서도 하이브리드 타입-s는 유선과 무선을 동시에 사용 가능하면서도 저소음 모델에 해당합니다. 일단 위 사진에서도 보셨겠지만 텐키리스도 충분히 적은 배열임에도 불구하고 방향키가 위치한 너비만큼이나 더 잘라낸 아주 작은 미니배열인 것을 확인할 수 있습니다. 방향키와 펑션키가 빠져있기 때문에 그만큼 크기를 줄일 수 있었는데요. 그렇다고 이 기능들이 없어진 것은 아닙니다. 엔터키(Return)밑에 보이는 Fn키와 조합해서 방향키와 펑션키 등을 활용할 수 있습니다. 처음에는 이 배열이 적..