전체 글
-
Luigi로 batch job 모니터링 및 스케줄링Programming 2021. 6. 19. 17:28
개요 Spotify에서 개발한 오픈 소스 실행 프레임워크로, 복잡한 데이터 파이프 라인을 Python으로 배치 작업을 만들어 실행할 수 있다. 종속성 해결, 워크 플로 관리, 시각화, 실패 처리, 명령 줄 통합 등을 처리하는데 사용한다. 하이브나 Pig 또는 Cascading과 같은 로우 레벨에서의 데이터 전처리에 초점에 맞춰져있는 이런 프레임워크를 대체할 수는 없다. 대신에 많은 task들을 하나로 합치게 도움을 준다. 이름이 루이지인건 아마도 슈퍼마리오의 루이지가 배관공이라서 파이프라인을 다루는 일이기 때문이 아닐까 추측 기본 구조 Task class ExampleTask(luigi.Task): # Parameter 정의 count = luigi.IntParameter(default=7) def re..
-
Druid + superset로 BI 아키텍쳐 구축하기Programming 2021. 3. 28. 22:57
드루이드란? Druid는 대량의 트랜잭션 이벤트를 ingestion하고 탐색할 수 있도록 지원하는 엔진이다. 실시간과 시계열 데이터에서 100ms 이하의 쿼리 응답속도를 위해 설계된 오픈 소스 데이터 저장소 실시간/배치 데이터로 데이터를 수집해서 빠르게 BI쿼리(OLAP)를 처리, 분석하는 목적으로 사용 데이터 roll-up을 통해서 ingestion되는 원천 데이터를 취합할 수 있다. roll-up을 하면 원천 데이터의 저장 용량을 최소화 할 수 있고 스토리지 리소스를 절약하고 쿼리 속도를 빠르게 하지만 개별 이벤트들에 대해 쿼리할 수 없게 된다. OLAP(On-Line Analytical Processing)? OLAP, 온라인 분석 처리는 다차원 데이터 구조를 이용하여 다차원의 복잡한 질의를 고속으..
-
제닉스 XPAM 키보드 팜레스트 리뷰Review 2021. 3. 1. 16:15
기계식 키보드를 입문하게 되면서 기계식 키보드 말고도 챙겨야 할 것들이 여러가지가 생겼다. 키캡을 갈아 끼우는 흔히 말하는 키캡놀이도 손이 가고, 루프탑이나 패드같은 걸도 생각지도 않은 지출이 생겼다. 키보드를 사니 키보드를 위한 추가 지출이 생긴 것이다. 나머지는 뭐 사실 있으나 마나한 것이지만 팜레스트 정도는 장시간 데스크탑을 이용하는 성향이 짙은 나에게는 꼭 필요한 제품이었다. 바밀로 키보드같은 경우는 바디가 그렇게 높지 않아서 손목에 그렇게 큰 부담은 없지만 레오폴드나 다른 기계식 키보드를 장시간 사용한다면 손목이 꺾이는데서 오는 피로감이 분명이 사용자에게 크게 작용한다. 그래서 요즘 나오는 기계식 키보드들은 스텝 스컬쳐2라고 해서 계단식으로 손목이 최대한 꺾이지 않도록 타자를 칠 수 있도록 공학..
-
예쁜 키보드 바밀로 저소음 적축 매화 에디션 리뷰Review/IT 2021. 2. 13. 23:26
사건 개요 최근에 키보드를 한개 더 구매했다. 키크론 기계식 키보드를 구입하고서 추가적으로 키보드를 구입하게 된 셈이다. 사실 키크론 키보드는 맥을 사용하게 되면서 외장 모니터를 사용하게 되었고 또 외장 모니터를 사용하기 위한 데스크 셋업에는 키보드가 필수 불가결하기 때문에 필요에 의해서 구입한 측면이 컸다. 하지만 이번 지름은 굳이 안 질러도 됐지만 핑계를 대자면 집에 있는 데스크탑 컴퓨터의 키보드가 낡고 오래된 멤브레인 키보드였기 때문에 바꾸기 위함이었다. 그것이 사실이기도 했고(PS2 입력 방식의 멤브레인 키보드를 거의 약 5년 이상 사용했다.) 뭐 핑계는 그럴싸하게 가져다가 붙였지만 계기가 된 것은 얼마전에 해피해킹의 무접점 키보드를 빌려서 사용한 것을 기점으로 키보드계에 눈 떠버리게 된 것이다...
-
클럽하우스 안하는게 오히려 더 힙할지도?Review/IT 2021. 2. 12. 23:58
요새 클럽하우스가 여러가지로 많은 세간의 관심을 끌고 있습니다. 사실 클럽하우스에 대해서 글을 쓰자고 생각한건 훨씬 이전이기는 하지만 이미 블로그나 기사로 많은 곳에서 소개되는 바람에 이제는 이미 클럽하우스에 대한 이야기는 식상하게 되어버린지 오래가 되버렸죠. 그래서 사실 클럽하우스가 어떤 것인가에 대해서 논하기 보다는 이제는 살짝 거리를 두고서 관조적인 입장으로 클럽하우스에 대해서 짧게 남겨보려고 합니다. 나는 클럽하우스가 뭔지 모르는데? 그래도 여전히 아직 클럽하우스가 뭔지 모르는 사람들이 있을 수 있습니다. 간단하게 설명하자면 디스코드같은 보이스 채팅을 기반으로 한 소셜 네트워크 서비스입니다. 한 사람이 연설하듯이 쭉 말을 하고 나머지가 듣는 식이 아니라 그룹콜 같은 느낌으로 여러명이 모여서 수다를..
-
스포티파이가 한국에 정식으로 런칭IT 2021. 2. 7. 18:31
Spotify launches music streaming service in South Korea Spotify Technology SA on Tuesday made a long-awaited debut in South Korea, the sixth largest music market in the world and home to the K-pop music genre. www.reuters.com 해외에서는 이미 애플뮤직과 함께 음악 스트리밍 서비스 양대산맥으로 알려진 스포티파이가 국내에 런칭합니다. 얼마전부터 국내 지사를 설립하고 채용 공고가 올라오는 것이 여러번 국내 언론 기사들에 의해서 기대감과 함께 노출된 바 있습니다. 멜론과 플로, 네이버, 벅스, 지니 등 국내 음원 시장은 통신사와 카카오 ..
-
[에러로그]파이어폭스에서 리액트 SVG 리사이징하기Programming/.JS 2021. 2. 6. 15:45
파이어폭스에서만 적용이 되지 않는 svg 아이콘 사이즈 개인적으로 파이어폭스를 애용하는 중인데, 유독 다른 브라우저에서는 모두 아이콘이 정상적으로(크롬, 사파리, 엣지)작동하는 것에 비해 파이어폭스에서는 적용되지 않는 것이 보였다. 블링크나 웹킷 엔진 기반에서는 사이즈가 제대로 반영이 되지만 게코 엔진(발음이 이상하지만 gecko engine이다)과 다른 것이 무엇일까 생각하면서 한참을 github 이슈나 구글링을 통해서 찾아본 결과 크게 다른 이슈될만한 버그리포트나 티켓들을 찾아볼 수 없었다. 그래서 직접 개발자도구로 해당하는 Attribute를 타겟팅해서 태그를 직접 비교해봤다. 놀랍게도 아주 미묘한 차이를 발견할 수 있었는데 다른 브라우저에서는 스타일 태그의 width와 height에 자동으로 px..
-
[python]str을 dict로 바꾸는 두 가지 방법Programming/python 2021. 1. 24. 18:23
dict는 string으로 변경할 수 있는 데, string은 dict로 변경할 수 없다 dict1 = {"a":"b", "c":"d"} str1 = str(dict1) print(str1) # 실행 결과 {"a":"b", "c":"d"} 딕셔너리 타입을 str로 형 변환을 하면 원하는 것처럼 알맞게 잘 출력한다. 하지만 이 str을 다시 딕셔너리 타입을 변경하려고 하면 에러가 발생한다. dict1 = '{"a":1, "b":2}' print(dict(dict1)) # 실행 결과 dictionary update sequence element #0 has length 1; 2 is required str을 dict로 바꾸는 방법 1. string으로 형 변환된 것을 eval을 사용해서 코드화 한다. str..