H5W3
当前位置:H5W3 > 其他技术问题 > 正文

kafka消费消息为啥不是批量拉取?而是一条一条拉下来消费?

测试了一下,先往一个topic里发很多消息,启动项目监听这个topic,发现是一条条拉消息下来的,为啥不是一次性都拉下来呢?

是不是使用的不对,哪里要配置么?

想象中的效果应该是,如果topic有很多没消费的消息,它能一次拉一批下来,不然效率也太低了

// 用springboot项目测试
// 这个topic一个分区一个副本

@KafkaListener(topics = {"test-topic"}, groupId = "test")  
public void listen(ConsumerRecord<?, ?> record) throws InterruptedException {  
  
    Optional<?> kafkaMessage = Optional.ofNullable(record.value());  
  
    if (kafkaMessage.isPresent()) {  
        Object message = kafkaMessage.get();  
        System.out.println("--> " + message);  
    }  
}

回答:

可以的喔,看官方文档

回答:

默认是一条。因为 Kafka 鼓励的是集群消费、集群生产,而不是单机批量消费。

0.10 版本以后新增了一个配置项 max.poll.records,可以用于指定批量消费条数的。除此之外,还需要合理的配置 max.partition.fetch.bytefetch.max.wait.ms 两个参数。

对于使用 SpringBoot 的项目,如何配置上述参数,可自行查询文档。

REF: https://cwiki.apache.org/conf…:+KafkaConsumer+Max+Records

本文地址:H5W3 » kafka消费消息为啥不是批量拉取?而是一条一条拉下来消费?

评论 0

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址