개발자노트

네, Kylin은 신화 속의 이 기린이 맞습니다. 카일린이라고도 부르기도 합니다. Kylin은 무엇인가요? Hadoop Ecosystem을 기반으로 한 오픈 소스 분산 분석 엔진(Distributed Analytics Engine) SQL 인터페이스와 다차원 분석(OLAP)을 제공 데이터의 어떤 면을 볼 건지 미리 정의 (Cube)하여 결과 집합에 대한 데이터를 미리 만들어두고, SQL 쿼리를 통해 미리 만들어놓은 데이터를 수 초(sub-seconds) 이내에 빠르게 조회 단순하게 표현하면 대용량 데이터 조회시 시간이 오래 걸리는 이슈를 해결하기 위하여 "저장 공간을 왕창 쓰는 대신, 속도 이득을 얻는다." (물론 실제로는 이거보다 더 복잡하다.) Kylin이 무엇인지 이해하기 위해서는 OLAP와 Dat..

IT/프로그래밍 2019. 2. 10. 20:14

나는 어렵고 힘든 일이 있으면 게으른 사람에게 시킨다. 그들은 항상 쉽게 해결할 수 있는 방법을 찾아내기 때문이다.-빌 게이츠- 슬랙 봇이란? 개발자들이 널리 사용하는 메신저 앱 Slack에서는 슬랙 봇이라는 녀석을 사용할 수 있다. 슬랙 봇은 챗봇의 일종이며, 다른 사람이 만들어놓은 슬랙 봇을 이용할 수도 있고, 스스로 직접 개발할 수도 있다. 본인은 하루 중 최대의 난제. 점심때 뭐 먹지? 를 슬랙 봇으로 해결하고 있다. (제가 만든 건 아닙니다.) 슬랙 봇을 만들게 된 계기 대학 후배들과 진행하는 개발 스터디에서 보다 효율적인 커뮤니케이션을 위해 메신저를 카카오톡에서 슬랙(Slack)으로 옮겼다. 후배들과 스터디를 할 때면 가끔 구글링으로 간단하게 해결 할 수 있는 질문들이 나오곤 하는데, 이럴 때..

IT/프로그래밍 2019. 1. 22. 20:05

들어가며 올 해 하반기에 람다 아키텍처를 도입한 프로젝트를 인수인계 받았다. 람다 아키텍처를 이해하기 위하여 공부한 내용, 그리고 서비스를 진행하며 느낀 점(고통)을 정리하였다. 목차 람다 아키텍처가 무엇이며, 왜 필요한가 람다 아키텍처의 구성은? 프로젝트를 진행하며 느낀 점 람다 아키텍처란 무엇이며, 왜 필요한가 무엇이죠? 아래의 특징을 가진 빅 데이터 아키텍처다. 배치 및 스트림 처리 방법을 모두 활용하여 많은 양의 데이터를 처리 실시간 분석을 지원 Lambda라는 이름이 붙은 이유는 Lambda calculus(람다 미적분) 에서 파생되었다고 한다. -> 람다의 모양이 입구가 2개이고, 출구가 1개인 모양에서 람다 아키텍쳐의 개념과 비슷하다고 하여 붙여진 이름이라고 합니다. (2019.04 수정) ..

IT/프로그래밍 2018. 11. 25. 23:22

[NodeJs] IntelliJ + Mocha Testing 연동하기 이 포스팅에서는 Mocha, Testing에 대해서는 별도로 설명하지 않는다. IntelliJ와 Mocha를 연동하는 방법을 위주로 설명한다. 전제 조건 IntelliJ는 상용 버전이며 NodeJs 플러그인이 설치되어 있다. 의존성 설치 npm install -g mocha // mocha는 글로벌로 설치해도 상관없다. npm install --save-dev chai // assertion 라이브러리 chai 설치 첫 테스트 생성 const expect = require('chai').expect; describe('my test suite', function () { it('fails majestically', function ()..

IT/프로그래밍 2018. 10. 13. 21:34

[Node] AWS Linux 에 node & pm2 설치하기 yum update 및 gcc 설치 sudo yum update -y sudo yum install -y gcc gcc-c++ make openssl-devel 노드 압축 버전 다운로드 curl -O https://nodejs.org/dist/{노드 버전}/{노드 버전}.tar.gz 예시 : curl -O https://nodejs.org/dist/v10.9.0/node-v10.9.0.tar.gz 노드 압축 풀기 & 압축 버전 삭제 tar -xvf {node.tar version} && rm {node.tar version} 노드 install $ cd node-{version} $ ./configure $ make $ sudo make in..

IT/프로그래밍 2018. 9. 25. 19:52

현상 MySql을 사용해서 DB를 조회해오는 함수를 작성하였는데 간헐적으로 아래와 같은 에러가 발생하였다. Error [ERR_HTTP_HEADERS_SENT]: Cannot set headers after they are sent to the client 정확하게는 첫 번째 요청은 되고, 두 번째 API 요청은 안 되고, 세 번째 API 요청은 또 되고.. 이런 현상의 반복이었다. Code let connection = mysql.createConnection(db_config); //... router.post('/login', function (req, res, next) { connection.connect(); //.. logic connection.end(); }); Error Log 0|Au..

IT/프로그래밍 2018. 9. 22. 19:10

[RDB] 테이블 결합 (JOIN) 정리 결합의 종류 교차결합 ( == 곱집합. A,B,C * 1,2,3) select * from table a, table b 내부결합 (Inner Join) 교차결합에서 원하는 조합을 검색하는 것 보통 PK를 이용함 일반적으로 Inner Join 키워드를 이용해서 많이 함 외부결합 (Outer Join) 결합 방법으로는 교차결합보다 내부결합을 많이 씀 equal 조인과 inner join 키워드 명시의 차이 기본적으로 equal 조인과, inner join 키워드 명시는 동일함 다만, 키워드를 사용하면 보다 디테일한 처리를 명시할 수 있음 outer, left 등등.. 그렇지만 보통 inner join에서 끝난다. DB에서 로직을 많이 안 쓰는 추세이기 때문에. in..

IT/프로그래밍 2018. 6. 9. 20:13

Edit Reactive Programming with JDK 9 Flow API 번역 이 문서는 오라클 커뮤니티 문서를 개인 공부 목적으로 일부 번역한 내용을 공유하는 것입니다. 오역이나 번역이 매끄럽지 않을 수 있습니다. 잘못된 부분이 있다면 피드백 바랍니다. (하단의 Processor 파트는 아직 학습하지 않은 관계로 번역을 하지 않았습니다.) Publisher를 게시자로 번역하였고, Subscriber를 구독자로 번역하였습니다. 중간에 용어가 종종 혼용됩니다. 리액티브 프로그래밍이란? 리액티브 프로그래밍은 데이터 항목의 비동기 스트림을 처리하는 것입니다. 여기서 애플리케이션은 발생하는 데이터 항목에 반응합니다. 데이터 스트림은 본질적으로 시간이 지남에 따라 발생하는 일련의 데이터 항목입니다. 이 ..

IT/프로그래밍 2017. 10. 20. 17:55