Flink 消费 Kafka 不提交 offset,可能有以下几个原因:
用户没有设置 flink.kafka.consumer.commit.interval.ms 配置项,或者设置的值太大。
用户设置了 flink.kafka.consumer.max.poll.records 配置项,并且这个值小于 flink.kafka.consumer.commit.interval.ms 配置项的值。
Flink 集群发生了故障,导致 offset 提交失败。
你可以尝试以下步骤解决这个问题:
检查 flink.kafka.consumer.commit.interval.ms 配置项的值,如果设置的值太大,可以将值设置小一些。
检查 flink.kafka.consumer.max.poll.records 配置项的值,如果设置的值小于 flink.kafka.consumer.commit.interval.ms 配置项的值,可以将值设置大一些。
检查 Flink 集群的状态,如果集群发生了故障,可以重启集群。
2023-09-28 10:14:28