全国服务热线:400-123-4567

Kafka教程之使用案例

来源:未知 发布日期:2020-04-17 14:25 浏览:

  Event sourcing是一种运用秩序打算派头,定时候来纪录状况的更改。 Kafka 能够存储格外众的日记数据,为基于 event sourcing 的运用秩序供应强有力的维持。

  很众人利用Kafka来取代日记集中处分计划。 日记集中体系广泛从办事器搜聚物理日记文献,并将其置于一个核心体系(不妨是文献办事器或HDFS)举办措置。 Kafka 从这些日记文献中提取音信,并将其笼统为一个越发明白的音问流。 如此能够竣工更低的延迟措置且易于维持众个数据源及漫衍式数据的花消。 与Scribe或Flume等以日记为核心的体系比拟,Kafka具备同样优越的本能、更强的耐用性(由于复制功效)和更低的端到端延迟。

  Kafka 很好地取代了古板的message broker(音问代庖)。 Message brokers 可用于各样场地(如将数据天生器与数据处明了耦,缓冲未措置的音问等)。 与大大批音问体系比拟,Kafka具有更好的模糊量、内置分区、具有复制和容错的功效,这使它成为一个格外理思的大型音问措置运用。

  Kafka 的初始用例是将用户勾当跟踪管道重修为一组及时颁布-订阅源。 这意味着网站勾当(浏览网页、征采或其他的用户操作)将被颁布到核心topic,此中每个勾当类型有一个topic。 这些订阅源供应一系列用例,席卷及时措置、及时看守、对加载到Hadoop或离线数据货仓体系的数据举办离线措置和讲演等。

  Kafka 广泛用于监控数据。这涉及到从漫衍式运用秩序中汇总数据,然后天生可操作的纠合数据源。

  依据咱们的体味,广泛音问传达利用较低的模糊量,但不妨央求较低的端到端延迟,Kafka供应宏大的长期性来餍足这一央求。

  Kafka 能够从外部为漫衍式体系供应日记提交功效。 日记有助于纪录节点和举止间的数据,采用从头同步机制能够从失利节点规复数据。 Kafka的日记压缩功效维持这一用法。 这一点与Apache BookKeeper 项目相同。

  很众Kafka用户通过管道来措置数据,有众个阶段: 从Kafka topic中消费原始输入数据,然后集中,藻饰或通过其他体例转化为新的topic, 以供进一步消费或措置。 比如,一个保举音讯作品的措置管道能够从RSS订阅源抓取作品实质并将其颁布到“作品”topic; 然后对这个实质举办模范化或者反复的实质, 并将措置完的作品实质颁布到新的topic; 最终它会测验将这些实质保举给用户。 这种措置管道基于各个topic创修及时数据流图。从0.10.0.0着手,正在Apache Kafka中,Kafka Streams 能够用来实践上述的数据措置,它是一个轻量但功效宏大的流措置库。除Kafka Streams外,可供取代的开源流措置东西还席卷Apache Storm 和Apache Samza.