slash24
-
[SLASH 24]전천후 데이터 분석을 위한 DW 설계 및 운영하기Review 2025. 10. 12. 23:59
고민의 시작의사 결정자가 체결된 월간 주문건수를 면밀히 사렾봐야할때나, 주문테이블, 체결 테이블, 데이터 필터링 등 복잡분석을 진행하기 전에 데이터를 찾고 전처리하는 시간을 줄일 수 없을까?→ 위 과정을 미리 해둔 데이터가 있다면 좋지 않을까?토스 증권에서 운영중인 Active User 테이블특정 지표를 설정하고(act_type 이라는 명칭으로) 다양한 관점에서 측정한 테이블을 만들어내는 파이프라인을 만들어서 사용위와같은 형식으로 100개가 넘는 act_type이 정의되어있음au_list라는 곳에 로그들을 다 밀어넣고 au_list는 daily로 존재하니 그거를 다시 montly, weekly, au_last(최종적으로 액티베이션 된 레코드 테이블), au_first(최초 인입된 레코드)로 구분하여 다시..
-
[SLASH24]토스뱅크 오픈소스로 Hadoop 클러스터 구축기 정리Review 2025. 3. 16. 23:10
배경클러스터를 왜 다시 구축하게 되었는가토스뱅크의 초창기에는 임팔라와 HUE를 통해서 빅데이터를 다루었음인증은 엑티브 디렉토리, 인가는 아파치 센트리를 통해서 제공임팔라가 대화형 쿼리에 장점이 있었지만 모든 문제에 만능은 아니었기에 사용자들이 한계를 느꼈지만 다른 도구들은 보안을 적용하기에 제한이 있었고 그래서 하둡 클러스터 전반적으로 보안을 적용해서 액티브 디렉토리에 케베로스를 추가했고 아파치 레인저를 통해 모든 서비스에 인증 인가가 붙도록 변경함결론적으로 임팔라 뿐만이 아니라 빅데이터 문제를 풀기위해 알맞은 솔루션을 사용자들이 선택하여 사용할 수 있도록 만들었음오픈소스만을 사용하여 Hadoop 클러스터 구축하기이런 새로운 오픈소스 프로젝트를 배포하고 관리하기 위해서 Apache Bigtop, Ansi..