kafka知识总结

本文将介绍最常用的分布式消息中间件kafka。由于笔者水平受限，因此介绍不一定全面，也不会太深入，仅供参考。

  • windows10
  • kafka 2.1.1
  • kafka依赖于zookeeper，因此需要先安装zookeeper
  • windows环境下kafka只需解压即可使用，但是需要注意解压路径不能包括空格
  • 执行 kafka-server-start.bat config\server.properties 启动服务

    • 提示命令语法不正确

    如果启动时提示命令语法不正确，那么需要在kafka安装目录中找到bin\windows目录中的kafka-run-class.bat，为set COMMAND后面的%CLASSPATH%加上双引号

  • topic，一个topic可以理解为一个逻辑上的消息队列
  • partition，一个topic包括一个或多个partition，同一个partition的数据必定在同一台机器上
  • segment，partition以segment存储，每个segment大小相同，对应物理存储文件
  • retention period，消息保留时间，超过被丢弃
  • consume group，消费组，kafka对同一个消费组内的实例做负载均衡，对不同消费组做广播。一个partition会被指派到消费组里的某个实例。
  • leader和followers，partition的主备模型

    • 命令行操作 

    kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

    kafka-topics.bat --list --zookeeper localhost:2181

    注意2.2版本可以直接用--bootstrap-server替代--zookeeper
    

    生产消费操作
    

    kafka-console-producer.bat --broker-list localhost:9092 --topic test

    kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning

    消费组操作
    

  • 查看consumer group的offset
    • 

    kafka-consumer-groups.bat --bootstrap-server localhost:9092 --describe --group my-group

  • 查看所有的consumer group
    • 

    kafka-consumer-groups.bat --bootstrap-server localhost:9092 --list

  • 查看consumer group的所有成员
    • 

    kafka-consumer-groups.bat --bootstrap-server localhost:9092 --describe --group my-group --members

  • 删除consumer group
    • 

    kafka-consumer-groups.bat --bootstrap-server localhost:9092 --delete --group my-group --group my-other-group

  • 修改consumer group的offset
    • 

    kafka-consumer-groups.bat --bootstrap-server localhost:9092 --topic topic_name --group group_name --execute --reset-offsets --to-offset 0

    生产者/消费者
    

    kafka消息格式
    

    一条消息是一个record batch，包含record batch header，每条record又有各自的header
    

    message delivery semantics，消息投递语义
    

  • at most once，最多一次，消息可能会丢失，但不会重复
    
先commit offset，再进行业务处理
    • 

  • at least once，最少一次，消息不会丢失，可能会重复
    
先进行业务处理，再commit offset
    • 

  • exactly once，只消费一次
    • 

    如何实现exactly once
    

  • 生产者：0.11.0.0之后的版本实现了幂等操作
    • 

  • 消费者：或者实现幂等，或者把commit offset和业务处理绑定成一个事务
    • 

  • 使用kafka streams可以实现
    • 

    leader
    

    kafka文件存储格式
    

    一个segment由.index和.log组成。.index是索引文件，记录每条消息的offset和在.log中的地址，.log中存储具体的数据。segment大小固定，但是包含不同数目的消息，segment文件的命名由上一个segment的最后一条消息的offset决定。查询指定offset消息的过程是先通过二分查找找到对应的segment，然后在.index文件中通过二分查找找到对应的存储地址。
    

    kafka高性能实现
    

  • kafka利用内存映射文件技术，包括mmap和sendfile
    • 

  • kafka客户端会缓存数据然后批量操作
    • 

  • byte copy，从生产者到kafka到消费者都是二进制数据，不需要转换
    • 

    log compaction
    

    compaction指对相同key的数据进行合并。
    

  • 开启log compaction
    • 

    log.cleanup.policy=compact

  • 开启compaction后，默认情况下除了最后一个segment，都会进行合并。
    • 

    followers
    

    kafka的高可用设计
    

    每个partition都有一个leader，若干个followers，读写请求发送给leader处理。leader维护了一个isr（in-sync replicas）列表，写数据时只有当指定数量的isr告知已收到（acknowledge）leader才会commit，而数据只有commit之后才会被消费者看到。告知已收到的数量可以由producer决定，包括0,1或者all（-1）
    

    崩溃恢复机制
    

    如果分区的当前leader挂掉了，会从isr列表中重新选举leader。如果列表中的所有节点都挂掉了，那么有以下几种策略
    

  • 等待isr列表中的节点恢复，然后成为leader
    • 

  • 等待第一个节点恢复（可能不在isr列表中），然后成为leader
    • 

    kafka vs rocketmq