Kafka 基础知识详解

Kafka 是消息传递系统之王。它由 LinkedIn 于 2011 年创建，并在 Confluent 的支持下得到了广泛的传播。

Confluent 已向开源社区发布了许多新功能和附加组件，例如用于模式演化的 Schema Registry，用于从其他数据源轻松流式传输的 Kafka Connect 等。

数据库到 Kafka，Kafka Streams 进行分布式流处理，最近使用 KSQL 对 Kafka topic 执行类似 SQL 的查询等等。

Kafka 快速，易于安装，非常受欢迎，可用于广泛的范围或用例。从开发人员的角度来看，尽管 Apache Kafka 一直很友好，但在操作运维方面却是一团糟。

因此，让我们回顾一下 Kafka 的一些痛点：

Kakfa的诸多痛点如下：

• 扩展 Kafka 十分棘手，这是由于 broker 与存储数据的耦合架构结构所致。剥离一个 broker 意味着它必须复制 topic 分区和副本，这非常耗时。
• 没有与租户完全隔离的本地多租户。
• 存储会变得非常昂贵，尽管可以长时间存储数据，但是由于成本问题却很少用到它。
• 万一副本不同步，有可能丢失消息。
• 必须提前计划和计算 broker、topic、分区和副本的数量(确保计划的未来使用量增长)，以避免扩展问题，这非常困难。
• 如果仅需要消息传递系统，则使用偏移量可能会很复杂。
• 集群重新平衡会影响相连的生产者和消费者的性能。
• MirrorMaker[3] Geo 复制机制存在问题。像 Uber 这样的公司已经创建了自己的解决方案来克服这些问题。

如您所见，大多数问题与操作运维方面有关。尽管安装起来相对容易，但 Kafka 难以管理和调优。而且，它也缺乏应有的灵活和弹性。

（编辑：应用网_丽江站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!