개발자노트

최근 사내 Kylin 저장소를 이전하며 Kylin 큐브 구조를 전반적으로 재구성하였다. 그 이후 Kylin 조회 성능이 많이 향상된 것이 체감된다. (물론 여기엔 새로운 저장소의 저장공간이 넉넉한 것도 영향을 줬다.) … 나는 최근 들어온 요구사항에 맞춰서 Kylin Cube를 새로 생성하는 일을 하고 있다. Kylin은 기존 큐브에 존재하지 않는 Dimension을 추가해서 조회할 수 없고, 큐브를 새로 생성해야 한다. 슬프다. 그러면서 Kylin 큐브 생성시 어떤 설정들이 조회 성능과 큐브의 용량에 영향을 주는지 배우고 있다. … Kylin의 아래 내용을 글로 쓸 예정인데, 이 포스팅에서는 '1. 데이터 모델 생성' ← 이 부분을 정리했다. 데이터 모델 생성 데이터 큐브 생성 데이터 큐브 빌드 데이터..

IT/프로그래밍 2019. 3. 24. 22:11

들어가며 올 해 하반기에 람다 아키텍처를 도입한 프로젝트를 인수인계 받았다. 람다 아키텍처를 이해하기 위하여 공부한 내용, 그리고 서비스를 진행하며 느낀 점(고통)을 정리하였다. 목차 람다 아키텍처가 무엇이며, 왜 필요한가 람다 아키텍처의 구성은? 프로젝트를 진행하며 느낀 점 람다 아키텍처란 무엇이며, 왜 필요한가 무엇이죠? 아래의 특징을 가진 빅 데이터 아키텍처다. 배치 및 스트림 처리 방법을 모두 활용하여 많은 양의 데이터를 처리 실시간 분석을 지원 Lambda라는 이름이 붙은 이유는 Lambda calculus(람다 미적분) 에서 파생되었다고 한다. -> 람다의 모양이 입구가 2개이고, 출구가 1개인 모양에서 람다 아키텍쳐의 개념과 비슷하다고 하여 붙여진 이름이라고 합니다. (2019.04 수정) ..

IT/프로그래밍 2018. 11. 25. 23:22