KoP 正式开源：在 Apache Pulsar 上支持原生 Kafka 协议

咱们很欢愉地颁布颁发 StreamNative 和 OVHcloud 开源了 “KoP“（Kafka on Pulsar）。KoP 将 Kafka 和谈办理插件引入 Pulsar broker。那样一来，Apache Pulsar 就撑持本生 Apache Kafka 和谈。将 KoP 和谈办理插件添加到现有 Pulsar 集群后，用户不用批改代码就可以将现有的 Kafka 使用步和谐效逸迁移到 Pulsar。那样，Kafka 使用步调就可以运用 Pulsar 的壮大罪能，譬喻：

操做企业级多租户特性简化经营。

防行数据搬迁，简化收配。

操做 Apache BookKeeper 和分层存储恒暂糊口生涯变乱流。

操做 Pulsar Functions 停行无效逸器化变乱办理。

什么是 Apache Pulsar

Apache Pulsar 是一个变乱流平台。最初，Apache Pulsar 就给取云本生、分层分片的架构。该架构将效逸和存储别分隔来，使系统真现更友好的容器化。Pulsar 的云本生架构具备强扩展性、高一致性和高弹性，使公司能通过真时数据处置惩罚惩罚方案扩展业务。自 2016 年开源以来，Pulsar 已获得宽泛给取，并于 2018 年成为 Apache 顶级名目。

对 KoP 的渴望

Plusar 为队列和流工做负载供给统一的音讯模型。Pulsar 撑持原人基于 protobuf 的二进制和谈，以确保高机能和低延迟。protobuf 有利于真现 Pulsar 。而且，该名目也撑持 Java，Go，Python 和 C ++ 语言以及社区供给的。但是，应付运用其余音讯传输和谈编写的使用步调，用户必须重写那些使用步调，否则那些使用步调无奈给取 Pulsar 新的统一音讯传输和谈。

为理处置惩罚惩罚那一问题，Pulsar 社区开发了一些使用步调，以便将 Kafka 使用步调从其余音讯系统迁移到 Pulsar。譬喻，Pulsar 正在 Kafka Java API 上供给了 。Kafka wrapper 允许用户正在不扭转代码的状况下将其运用的 Kafka Java 客户端使用步调从 Kafka 切换到 Pulsar。Pulsar 还供给富厚的 connector 生态系统，用于连贯 Pulsar 和其余数据系统。但是，这些想要从其余 Kafka 使用步调切换到 Pulsar 的用户依然有强烈的需求。

StreamNative 和 OVHcloud 的竞争

StreamNative 支到大质的入站乞求，乞求协助从其余音讯系统迁移到 Pulsar 。同时，StreamNative 也认识到正在 Pulsar 上本生撑持其余音讯传输和谈（譬喻 AMQP 和 Kafka）的必要性。所以，StreamNative 初步努力于将通用和谈办理插件框架引入到 Pulsar 中。该框架允许运用其余音讯传输和谈的开发人员运用 Pulsar。

多年来，OVHcloud 接续给取 Apache Kafka。只管他们有正在 Kafka 上运止多个集群且每秒办理数百万条音讯的经历，但仍面临困难的经营挑战。譬喻，假如不运用多租户特性，他们很难将成千上万个用户的数千个 Topic 放正在一个集群中。

所以，OVHcloud 放弃 Kafka，决议将其主题即效逸的产品（即 ioStream）转移到 Pulsar，并正在 Pulsar 上构建其产品。取 Kafka 相比，Pulsar 撑持多租户特性且其整体架构包孕 Apache BookKeep 组件，那有助于简化用户收配。

正在初阶实验之后，OVHcloud 决议将 KoP 做为 PoC proxy，将 Kafka 和谈立即转换到 Pulsar。正在此历程中，OVHcloud 留心到 StreamNative 正正在努力于将 Kafka 和谈本生地引入到 Pulsar。于是，他们联手开发了 KoP。

 

KoP 旨正在操做 Pulsar 和 BookKeeper 的变乱流存储架会谈 Pulsar 的可插拔和谈办理插件框架来供给一种精简而片面的处置惩罚惩罚方案。KoP 是一个和谈称呼为“kafka”的和谈办理插件。KoP 绑定正在 Pulsar broker上，并取 Pulsar broker 一起运止。

分布式日志

对于日志，Pulsar 和 Kafka 都给取很是相似的数据模型，用于发布/订阅音讯和变乱流。譬喻，Pulsar 和 Kafka 都给取分布式日志。那两个系统的次要区别正在于它们如何真现分布式日志。Kafka 给取分区的架构，将分布式日志（Kafka 分区中的日志）存储正在一组 broker 中。Pulsar 给取分片的架构，操做 Apache BookKeeper 做为其横向扩展的分片存储层，将分布式日志存储正在 Apache BookKeeper 中。Pulsar 基于分片的架构有助于防行数据搬迁、真现高扩展性、以及恒暂地存储变乱流。有关 Pulsar 和 Kafka 次要区其它更多信息，参考 博客和 博客。

Pulsar 和 Kafka 都基于相似的数据模型（分布式日志）停行搭建，而且 Pulsar 给取分布式日志存储和可插拔的和谈办理插件框架（正在 2.5.0 版原中引入），所以 Pulsar 可以很容易地真现兼容 Kafka 的和谈办理插件。

真现方式

通过对照 Pulsar 和 Kafka，咱们发现那两种系统有不少相似之处。那两种系统都蕴含以下收配：

Topic 查找：所有客户端都连贯到任一 broker 以查找 Topic 的元数据（即 owner broker）。获与元数据之后，客户端取 owner broker 建设恒暂的 TCP 连贯。

发布：客户端取 Topic 区的 owner broker 停行对话，以将音讯逃加到分布式日志中。

出产：客户端取 Topic 分区的 owner broker 停行对话，以便从分布式日志中读与音讯。

偏移质：为发布给 Topic 分区的音讯分配偏移质。正在 Pulsar 中，偏移质被称为 MessageId。consumer 可以运用偏移质来查找日志中的给定位置，以便读与音讯。

出产形态：那两个系统都维护订阅中的 consumer（ Kafka 称之为出产组）的出产形态。Kafka 将出产形态存储正在 __offsets Topic，而 Pulsar 将出产形态存储正在 cursors。

正如你所见，那些都是横向扩展分布式日志存储（譬喻 Apache BookKeeper）供给的所有本始收配。Pulsar 的焦点罪能是正在 Apache BookKeeper 上真现的。果此，咱们可以很是简略、间接地运用 Pulsar 正在 BookKeeper 上开发的现有组件来真现 Kafka 观念。

下图注明了咱们如安正在 Pulsar 中添加 Kafka 和谈撑持。咱们引入一个新的和谈办理插件，该和谈办理插件操做 Pulsar 的现有组件（譬喻 Topic 发现、分布式日志库-ManagedLedger、cursor 等）来真现 Kafka 传输和谈。

 

 

Topic

Kafka 将所有 Topic 存储正在扁平的定名空间。但是，Pulsar 将 Topic 存储正在层次化、多租户的定名空间。咱们正在 broker 配置中添加了 kafkaNamespace 配置，那样打点员就可以将 Kafka Topic 映射到 Pulsar Topic。 为了便捷 Kafka 用户运用 Apache Pulsar 的多租户特性，当 Kafka 用户运用 SASL 验证机制来验证 Kafka 客户实个时候，可以指定一个 Pulsar 租户和定名空间做为其 SASL 用户名。

音讯 ID 和偏移质

Kafka 为每条被乐成发布到 Topic 分区的音讯都指定了一个偏移质。Pulsar 为每条音讯指定了一个 MessageID。音讯 ID 由 ledger-id、 entry-id 和 batch-index 构成。咱们正在 Pulsar-Kafka wrapper 中运用雷同的办法将 Pulsar 的音讯 ID 转换为偏移质，反之亦然。

音讯

Kafka 和 Pulsar 的音讯都包孕键、值、光阳戳和 header（正在 Pulsar 中被称做 ‘properties’）。咱们主动正在 Kafka 音讯和 Pulsar 音讯之间转换那些字段。

Topic 查找

咱们为 Kafka 和 Pulsar 的乞求办理插件供给雷同的 Topic 查找办法。乞求办理插件发现 Topic，查找所乞求的 Topic 分区的全副所有权，而后将包孕所有权信息的 Kafka TopicMetadata 返回给 Kafka 客户端。

发布音讯

当支到 Kafka 客户端发布的音讯后，Kafka 乞求办理插件逐一将多个字段（譬喻键、值、光阳戳和 headers）停行映射，从而将 Kafka 音讯转换为 Pulsar 音讯。同时，Kafka 乞求办理插件操做 ManagedLedger append API 将那些已转化的 Pulsar 音讯存储正在 BookKeeper。Kafka 乞求办理插件将 Kafka 音讯转换为 Pulsar 音讯后，现有的 Pulsar 使用步调就可以接管 Kafka 客户端发布的音讯。

出产音讯

当支到 Kafka 客户实个 consumer 乞求时，Kafka 乞求办理插件打开一个非恒暂 cursor，而后从乞求的偏移质初步读与 entries。Kafka 乞求办理插件将 Pulsar 音讯转换回 Kafka 音讯后，现有的 Kafka 使用步调就可以接管 Pulsar 客户端发布的音讯。

Group coordinator & 偏移质打点

最大的挑战是真现 group coordinator 和偏移质打点。Pulsar 不撑持会合的 group coordinator，无奈为出产组里的 consumer 分配分区，也无奈打点每个出产组的偏移质。Pulsar broker 基于分区来打点分区分配，而分区的 owner broker 通过将确认信息存储正在 cursors 来打点偏移质。

咱们很难让 Pulsar 模型取 Kafka 模型保持一致。果此，为了彻底兼容 Kafka 客户端，咱们将 coordinator group 的变动和偏移质存储正在 Pulsar 名为 public/kafka/__offsets 系统 Topic 中，从而真现 Kafka coordinator group。那样，咱们能够正在 Pulsar 和 Kafka 之间建设桥梁，并允许用户运用现有的 Pulsar 工具和战略来打点订阅并监控 Kafka consumer。咱们正在已真现的 coordinator group 中添加一个靠山线程，按期将偏移质更新从系统 Topic 同步到 Pulsar cursor。果此，真际上 Kafka 出产组被认为是 Pulsar 订阅。所有现有的 Pulsar 工具也可以用于打点 Kafka 出产组。

连贯两种风止的音讯生态系统

StreamNative 和 OVHcloud 都器重客户的乐成。咱们相信，正在 Apache Pulsar 上供给本生 Kafka 和谈能够协助给取 Pulsar 的用户更快地得到业务乐成。KoP 整折了两个风止的变乱流生态系统，解锁了新的用例。客户可以操做那两个生态系统的劣势，借助 Apache Pulsar 构建一个实正统一的变乱流平台，加快开发真时使用步和谐效逸。

KoP 使日志聚集器可以继续从其起源聚集日志数据，并运用现有的 Kafka 集成向 Apache Pulsar 发布音讯。粗俗使用步调可以运用 Pulsar Functions 来办理达到系统的变乱，真现无效逸器化变乱传布输。

试用 KoP

KoP 运用 Apache License V2 许诺证，名目地址为： Platform 曾经内置 KoP。你可以选择下载 来试用 KoP 的所有罪能。假如曾经运止 Pulsar 集群，并且欲望其撑持 Kafka 和谈，可以将 KoP 和谈办理插件拆置到现有的 Pulsar 集群。相关具体信息，请参考。

假如想要理解有关 KoP 的更多信息，请参考 KoP 的和息。咱们期待你提出问题和 PR。你也可以正在 中参预 ＃kop 频道，探讨有关 Kafka-on-Pulsar 的所有工作。

StreamNative 和 OVHcloud 将于 3 月 31 日举行有关 KoP 的网络研讨会。假如想要理解更多具体信息，请单击。期待取你正在网上见面。

称谢

最初，StreamNative 建议 KoP 名目。厥后，OVHcloud 团队参预了该名目。咱们一起竞争开发 KoP 名目。很是感谢 OVHcloud 的 Pierre Zemb 和 Steven Le Roux 对那个项宗旨奉献！

做者：StreamNative
链接：https://juejin.cn/post/6850418114341896205
起源：稀土掘金
著做权归做者所有。商业转载请联络做者与得授权，非商业转载请说明缘故。