发布于 2021-08-18 10:52:02 | 阅读 21917
人们需要了解如何在混合云上利用云原生和无服务器Apache Kafka来处理与数据湖互补的动态数据。而Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。
发布于 2021-07-07 14:38:25 | 阅读 19060
消息队列是分布式系统中重要的组件,在很多生产环境如商品抢购等需要控制并发量的场景下都需要用到。
发布于 2021-06-29 10:58:38 | 阅读 22819
不管是传统的基于关系型数据库设计的系统,还是分布式的如 zookeeper 、 redis 、 Kafka 、 HDFS 等等,实现高可用的办法通常是采用冗余设计,通过冗余来解决节点宕机不可用问题。
发布于 2021-05-13 19:03:44 | 阅读 21233
Kafka 是主流的消息流系统,其中的概念还是比较多的,下面通过图示的方式来梳理一下 Kafka 的核心概念,以便在我们的头脑中有一个清晰的认识。
发布于 2021-01-27 18:58:34 | 阅读 25667
每个 partition 相当于一个巨型文件→多个大小相等 segment 数据文件中 每个 partition 只需要顺序读写就行了,segment 文件生命周期由配置决定 segment file 组成:index file:索引文件data file:数据文件 segment file 文件命名规则:全局第一个 segment 是 0后序每个加上全局 partition 的最大 offset
发布于 2020-09-30 14:32:42 | 阅读 25679
笔者所在的是一家金融科技公司,但公司内部并没有采用在金融支付领域更为流行的 RabbitMQ,而是采用了设计之初就为日志处理而生的 Kafka
发布于 2020-04-03 11:10:32 | 阅读 31439
作为一个有丰富经验的微服务系统架构师,经常有人问我,应该选择 RabbitMQ 还是 Kafka?