개발자노트

kafka 에서 consumer group 의 consumer 의 개수는 partition의 개수와 되도록 일치시키는 것이 효율적이다. partition은 동일 consumer group에 대해서는 1:1의 관계를 가진다. 반대로 consumer group의 consumer는 partion과 1:N의 관계를 가질 수 있다. partition이 consumer 보다 많다면, 하나의 consumer가 여러 개의 partition을 처리해야 하기 때문에 지연(lag)이 생길 수 있다. 또한 consumer의 수가 partition의 수보다 많다면, 놀고 있는 consumer가 생기기 때문에 비용을 낭비하게 된다. ※ 참고로 파티션의 수는 늘릴 수는 있지만 줄일 수는 없다. 따라서 무작정 파티션과 컨슈머의 수를..

IT/프로그래밍 2020. 3. 31. 18:30

Consumer Process 를 개발하는데 Spring Kafka 를 사용하였다. Consumer Config 를 생성 시 사용되는 옵션 중 하나인 KafkaConsumerFactory 에 대한 설정값을 알아본다. Example @Bean public Map consumerConfigs() { Map props = new HashMap(); props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, kafkaCluster); props.put(ConsumerConfig.GROUP_ID_CONFIG, consumerGroupId); props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.clas..

IT/프로그래밍 2020. 1. 13. 19:00