전체 글
-
데이터쟁이들을 위한 리소스 관리 플랫폼 Backend.AIReview/IT 2021. 7. 26. 01:49
오픈소스 컨트리뷰션 아카데미 Backend.AI라는 오픈소스 프로젝트를 알게 된 것은 오픈소스 컨트리뷰션 아카데미라는 과학 기술 정보 통신부에서 주최하며 프로젝트의 코어 개발자들의 멘토들에게 직접 멘토링을 받으며 오픈소스에 기여하고 평가받는 정부 프로그램이다. 최근에 github 잔디 심기에 몰두하면서 오픈소스 생태계에 대해 관심이 많이 생겼는데 그 관심을 살릴 수 있는 기회인 것 같아서 내 입맛에 맞는 프로젝트를 찾던 도중 발견한 것이 바로 이 Backend.AI였다. Backend.ai는 어떤 프로젝트인가? 왜 하필 이 프로젝트에 관심이 생겼는가는 지금 하고있고 고민하고 있는 일과 맞닿아있다. 우선 이 프로젝트에 대해서 소개하자면 Backend.AI는 오픈소스 리소스 관리 플랫폼이다. 클라우드로도 제..
-
파이썬 데코레이터에서 wraps를 사용해야 하는 이유Programming/python 2021. 6. 27. 22:48
파이썬에는 함수를 파라미터로 받아서 함수를 반환하기 위해서 데코레이터를 사용한다. 말하자면 함수의 함수인 셈인데, 파라미터 변환이나 코드 추적(로깅), 유효성 검사 및 재시도 로직 등 이 데코레이터를 사용하면 다양한 작업들을 손쉽게 처리해줄 수가 있다. 이 데코레이터를 사용할 때에는 주의해야할 점이 몇가지 있는데 오늘은 그 주의할 점에 대해서 이야기 하려고 한다. import logging as logger def trace_decorator(function): def wrapped(*args, **kwargs): """ decorator docstring """ logger.info("%s 실행", function.__qualname__) return function(*args, **kwargs) re..
-
Luigi로 batch job 모니터링 및 스케줄링Programming 2021. 6. 19. 17:28
개요 Spotify에서 개발한 오픈 소스 실행 프레임워크로, 복잡한 데이터 파이프 라인을 Python으로 배치 작업을 만들어 실행할 수 있다. 종속성 해결, 워크 플로 관리, 시각화, 실패 처리, 명령 줄 통합 등을 처리하는데 사용한다. 하이브나 Pig 또는 Cascading과 같은 로우 레벨에서의 데이터 전처리에 초점에 맞춰져있는 이런 프레임워크를 대체할 수는 없다. 대신에 많은 task들을 하나로 합치게 도움을 준다. 이름이 루이지인건 아마도 슈퍼마리오의 루이지가 배관공이라서 파이프라인을 다루는 일이기 때문이 아닐까 추측 기본 구조 Task class ExampleTask(luigi.Task): # Parameter 정의 count = luigi.IntParameter(default=7) def re..
-
Druid + superset로 BI 아키텍쳐 구축하기Programming 2021. 3. 28. 22:57
드루이드란? Druid는 대량의 트랜잭션 이벤트를 ingestion하고 탐색할 수 있도록 지원하는 엔진이다. 실시간과 시계열 데이터에서 100ms 이하의 쿼리 응답속도를 위해 설계된 오픈 소스 데이터 저장소 실시간/배치 데이터로 데이터를 수집해서 빠르게 BI쿼리(OLAP)를 처리, 분석하는 목적으로 사용 데이터 roll-up을 통해서 ingestion되는 원천 데이터를 취합할 수 있다. roll-up을 하면 원천 데이터의 저장 용량을 최소화 할 수 있고 스토리지 리소스를 절약하고 쿼리 속도를 빠르게 하지만 개별 이벤트들에 대해 쿼리할 수 없게 된다. OLAP(On-Line Analytical Processing)? OLAP, 온라인 분석 처리는 다차원 데이터 구조를 이용하여 다차원의 복잡한 질의를 고속으..
-
제닉스 XPAM 키보드 팜레스트 리뷰Review 2021. 3. 1. 16:15
기계식 키보드를 입문하게 되면서 기계식 키보드 말고도 챙겨야 할 것들이 여러가지가 생겼다. 키캡을 갈아 끼우는 흔히 말하는 키캡놀이도 손이 가고, 루프탑이나 패드같은 걸도 생각지도 않은 지출이 생겼다. 키보드를 사니 키보드를 위한 추가 지출이 생긴 것이다. 나머지는 뭐 사실 있으나 마나한 것이지만 팜레스트 정도는 장시간 데스크탑을 이용하는 성향이 짙은 나에게는 꼭 필요한 제품이었다. 바밀로 키보드같은 경우는 바디가 그렇게 높지 않아서 손목에 그렇게 큰 부담은 없지만 레오폴드나 다른 기계식 키보드를 장시간 사용한다면 손목이 꺾이는데서 오는 피로감이 분명이 사용자에게 크게 작용한다. 그래서 요즘 나오는 기계식 키보드들은 스텝 스컬쳐2라고 해서 계단식으로 손목이 최대한 꺾이지 않도록 타자를 칠 수 있도록 공학..
-
예쁜 키보드 바밀로 저소음 적축 매화 에디션 리뷰Review/IT 2021. 2. 13. 23:26
사건 개요 최근에 키보드를 한개 더 구매했다. 키크론 기계식 키보드를 구입하고서 추가적으로 키보드를 구입하게 된 셈이다. 사실 키크론 키보드는 맥을 사용하게 되면서 외장 모니터를 사용하게 되었고 또 외장 모니터를 사용하기 위한 데스크 셋업에는 키보드가 필수 불가결하기 때문에 필요에 의해서 구입한 측면이 컸다. 하지만 이번 지름은 굳이 안 질러도 됐지만 핑계를 대자면 집에 있는 데스크탑 컴퓨터의 키보드가 낡고 오래된 멤브레인 키보드였기 때문에 바꾸기 위함이었다. 그것이 사실이기도 했고(PS2 입력 방식의 멤브레인 키보드를 거의 약 5년 이상 사용했다.) 뭐 핑계는 그럴싸하게 가져다가 붙였지만 계기가 된 것은 얼마전에 해피해킹의 무접점 키보드를 빌려서 사용한 것을 기점으로 키보드계에 눈 떠버리게 된 것이다...
-
클럽하우스 안하는게 오히려 더 힙할지도?Review/IT 2021. 2. 12. 23:58
요새 클럽하우스가 여러가지로 많은 세간의 관심을 끌고 있습니다. 사실 클럽하우스에 대해서 글을 쓰자고 생각한건 훨씬 이전이기는 하지만 이미 블로그나 기사로 많은 곳에서 소개되는 바람에 이제는 이미 클럽하우스에 대한 이야기는 식상하게 되어버린지 오래가 되버렸죠. 그래서 사실 클럽하우스가 어떤 것인가에 대해서 논하기 보다는 이제는 살짝 거리를 두고서 관조적인 입장으로 클럽하우스에 대해서 짧게 남겨보려고 합니다. 나는 클럽하우스가 뭔지 모르는데? 그래도 여전히 아직 클럽하우스가 뭔지 모르는 사람들이 있을 수 있습니다. 간단하게 설명하자면 디스코드같은 보이스 채팅을 기반으로 한 소셜 네트워크 서비스입니다. 한 사람이 연설하듯이 쭉 말을 하고 나머지가 듣는 식이 아니라 그룹콜 같은 느낌으로 여러명이 모여서 수다를..
-
스포티파이가 한국에 정식으로 런칭IT 2021. 2. 7. 18:31
Spotify launches music streaming service in South Korea Spotify Technology SA on Tuesday made a long-awaited debut in South Korea, the sixth largest music market in the world and home to the K-pop music genre. www.reuters.com 해외에서는 이미 애플뮤직과 함께 음악 스트리밍 서비스 양대산맥으로 알려진 스포티파이가 국내에 런칭합니다. 얼마전부터 국내 지사를 설립하고 채용 공고가 올라오는 것이 여러번 국내 언론 기사들에 의해서 기대감과 함께 노출된 바 있습니다. 멜론과 플로, 네이버, 벅스, 지니 등 국내 음원 시장은 통신사와 카카오 ..