kafka基础笔记

基础概念 kafka是一个消息队列系统,不同的生产者和消费者,可以向kafka写入自己的数据,实现数据的流动;kafka解耦了生产者和消费者,它的ack机制保证了消息传递的可靠性,借助zookeeper等实现了分布式的消息队列。 生产者可以根据需要向不同的主题写入数据,为了减少累计的网络IO时间,可以把多个消息积累到一个批次中统一发送。 消费者可以组成消费者组的概念,消费者组可以订阅主题,kafka的offset机制保证了不同消费者组可以独立消费自己的消息,同时也保证了消息可以高效传递。消息也可以分批次读取。 客户端从kafka集群获取元信息,然后从元信息中解析出有关信息,关于元信息的内容,参