Kafka理解_七贤镇

kafka是什么 Apache Kafka是分布式发布-订阅消息系统，在 kafka官网上对 kafka 的定义：一个分布式发布-订阅消息传递系统。它最初由LinkedIn公司开发，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。
几种分布式系统消息系统的对比：
kafka基本架构它的架构包括以下组件：

话题（Topic）：是特定类型的消息流。消息是字节的有效负载（Payload），话题是消息的分类名或种子（Feed）名；
生产者（Producer）：是能够发布消息到话题的任何对象；
服务代理（Broker）：已发布的消息保存在一组服务器中，它们被称为代理（Broker）或Kafka集群；
消费者（Consumer）：可以订阅一个或多个话题，并从Broker拉数据，从而消费这些已发布的消息；

基本原理生产者将数据生产出来，交给 broker 进行存储，消费者需要消费数据了，就从broker中去拿出数据来，然后完成一系列对数据的处理操作。多个 broker 协同合作，producer 和 consumer 部署在各个业务逻辑中被频繁的调用，三者通过 zookeeper管理协调请求和转发。这样一个高性能的分布式消息发布订阅系统就完成了。
kafka作用场景

发布 & 订阅：类似于一个消息系统，读写流式的数据。
计算：编写可扩展的流处理应用程序，用于实时场景。
储存：将流式的数据安全的存储在一个分布式，有副本备份，容错的集群。

参考 kafka官方文档：https://kafka.apache.org/documentation/
kafka架构解释：https://zhuanlan.zhihu.com/p/38269875
Kafka简介、基本原理、执行流程与使用场景：https://cloud.tencent.com/developer/article/1419346
【Kafka理解】kafka中文文档：https://kafka.apachecn.org/