Python操作分布式流处理系统Kafka

Kafka是一个分布式流处理系统,流处理系统使它可以像消息队列一样publish或者subscribe消息,分布式提供了容错性,并发处理消息的机制。kafka运行在集群上,集群包含一个或多个服务器。kafka把消息存在topic中,每一条消息包含键值(key),值(value)和时间戳(timestamp)。kafka有以下一些基本概念:Producer-消息生产者,就是向kafkabroker发消息的客户端。Consumer-消息消费者,是消息的使用方,负责消费Kafka服务器上的消息。Topic-主题,由用户定义并配置在Kafka服务器,用于建立Producer和Consum