添加链接
link之家
链接快照平台
  • 输入网页链接,自动生成快照
  • 标签化管理网页链接

Flink 消费 Kafka 不提交 offset,可能有以下几个原因:

用户没有设置 flink.kafka.consumer.commit.interval.ms 配置项,或者设置的值太大。
用户设置了 flink.kafka.consumer.max.poll.records 配置项,并且这个值小于 flink.kafka.consumer.commit.interval.ms 配置项的值。
Flink 集群发生了故障,导致 offset 提交失败。
你可以尝试以下步骤解决这个问题:

检查 flink.kafka.consumer.commit.interval.ms 配置项的值,如果设置的值太大,可以将值设置小一些。
检查 flink.kafka.consumer.max.poll.records 配置项的值,如果设置的值小于 flink.kafka.consumer.commit.interval.ms 配置项的值,可以将值设置大一些。
检查 Flink 集群的状态,如果集群发生了故障,可以重启集群。

2023-09-28 10:14:28

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。