kafka-12 Consumer API

Consumer

public class MyConsumer {
    public static void main(String[] args) {
        // 创建配置信息
        Properties properties = new Properties();
        properties.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "hadoop001:9092");
        properties.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
        properties.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
        // 开启自动提交offset
        properties.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, true);
        properties.put(ConsumerConfig.AUTO_COMMIT_INTERVAL_MS_CONFIG, 1000);
        // 创建消费者组
        properties.put(ConsumerConfig.GROUP_ID_CONFIG, "bigdata");
        // 创建消费对象
        KafkaConsumer<String, String> consumer = new KafkaConsumer<String, String>(properties);
        // 订阅主题
        consumer.subscribe(Arrays.asList("first", "second"));
        // 获取数据 时间使用Duration.ofMillis() 
        // 使用循环获取，否则jvm执行完即退出
        while (true) {
            ConsumerRecords<String, String> consumerRecords = consumer.poll(Duration.ofMillis(100));
            for (ConsumerRecord<String, String> consumerRecord : consumerRecords) {
                System.out.println(consumerRecord.key() + " -- " + consumerRecord.value());
            }
        }
    }
}

消费一个不存在的topic，不会创建新的topic
producer 发送不存在的topic则会创建新的topic

API消费者重置

auto.offset.reset
- earliest
  - 组没换，offset没有失效所以不会有效果
- latest（默认）
重新消费：
- 换组
- auto.offset.reset = earliest
关于earliest不一定是0
- 有可能7天数据删除

自动提交offset

导入依赖

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>2.4.1</version>
</dependency>

编写代码

需要用到的类：

KafkaConsumer：需要创建一个消费者对象，用来消费数据

ConsumerConfig：获取所需的一系列配置参数

ConsumerRecord：每条数据都要封装成一个ConsumerRecord对象

kafka自动提交参数
- enable.auto.commit:是否开启自动提交offset功能
- auto.commit.interval.ms:自动提交offset的时间间隔

手动提交offset

前提：关闭自动提交

commitSync（同步提交）
- 提交本地poll的一批数据的最高偏移量
- 阻塞当前线程，一直到提交成功，并且会自动失败重试
commitAsync（异步提交）
- 提交本地poll的一批数据的最高偏移量
- 没有重试机制，可能提交失败

自定义存储offset

推荐存储在mysql

kafka默认将offset存储在kafka的一个内置的topic，kafka可以选择自定义存储offset
offset的维护是相当繁琐的，需要考虑到消费者的rebalace
当有新的消费者加入消费者组、已有的消费者退出消费者组或者所订阅的主题的分区发生变化，就会触发到分区的重新分配，重新分配的过程叫做Rebalance
消费者发生rebalance之后，每个消费者的分区就会发生变化，因此消费者要首先获取到自己被重新分配到的分区，并且定位到每个分区最近提交的offset位置，继续消费
实现自定义存储offset需要使用ConsumerRebalanceListener

public class DiyOffsetConsumer {
    private static Map<TopicPartition, Long> currentOffset;
    public static void main(String[] args) {
        Properties properties = new Properties();
        properties.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "hadoop001:9092");
        properties.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");
        properties.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");
        properties.put(ConsumerConfig.GROUP_ID_CONFIG, "bigdata");
        properties.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, false);

        KafkaConsumer<String, String> consumer = new KafkaConsumer<String, String>(properties);
        // 消费者订阅主题
        consumer.subscribe(Arrays.asList("first"), new ConsumerRebalanceListener() {
            // 该方法会在Rebalance之前调用
            @Override
            public void onPartitionsRevoked(Collection<TopicPartition> partitions) {
                commitOffset(currentOffset);
            }
            // 该方法会在Rebalance之后调用
            @Override
            public void onPartitionsAssigned(Collection<TopicPartition> partitions) {
                currentOffset.clear();
                for (TopicPartition partition : partitions) {
                    consumer.seek(partition, getOffset(partition));  // 定位到最近提交的offset位置继续消费
                }
            }
        });
        // 消费主题
        while (true) {
            ConsumerRecords<String, String> consumerRecords = consumer.poll(Duration.ofMillis(100));
            for (ConsumerRecord<String, String> consumerRecord : consumerRecords) {
                System.out.println(consumerRecord.key() + ":" + consumerRecord.value());
            }
            commitOffset(currentOffset);
        }
    }
    // 获取某分区的最新offset
    private static long getOffset(TopicPartition partition) {
        return 0;
    }
    // 提交该消费者所有分区的offset
    private static void commitOffset(Map<TopicPartition, Long> currentOffset) {

    }
}

Blog

kafka-12 Consumer API