kafka 总结

kafka 总体介绍 消息队列应用场景 异步解耦、广播发布订阅、 流量削锋 。 kafka企业使用方式 1.kafka topic 管理平台。包含topic 注册 管理,topic 消息结构体定义及其修改(topic 消息结构 定义为avro 结构。方便接入到大数据hive 里面。消息可以持久化到hbase中,最终可以通过ksql 查询)。 2.topic 消息监控。生成和消费情况监控hook等。 kafka 架构和功能介绍 角色分为集群、broker、 生产者、消费者、topic、消费组、消费者、pation。集群管理通过zk 管理。关系组织为一个集群由多个broker(实际物理节点)组成。