10 亿月活用户下，快手基于 Dragonfly 的超大规模镜像分发实践

快手容器云平台旨正在为快手不停删加、不停厘革和多样化的业务，供给基于容器化陈列的超大范围根原设备效逸。为了真现那一目的，快手工程师须要处置惩罚惩罚弹性、不乱性、效率和无效逸器架构等挑战，正在那些挑战中，镜像分发的不乱性和效率也是最棘手的问题之一。

为了让快手容器云平台的镜像分发愈加不乱和高效，快手容器云技术团队携手阿里云、蚂蚁团体正在龙蜥社区适配劣化落地处置惩罚惩罚方案。事真证真，Dragonfly 及其子名目 Nydus 是当前场景下适宜的处置惩罚惩罚方案，该方案能够取现有系统很好地兼容，正在现有才华根原上滑腻过渡，同时也为效逸托付带来了大幅的效率提升。

Dragonfly 上线后，整个集群通过 P2P 组建分发网，所有节点协助核心化镜像货仓缓解网络带宽压力。镜像货仓的网络带宽压力均匀缓解 70% 以上，峰值压力缓解 80% 以上，镜像分发系统变得愈加不乱、牢靠、高效，系统能够同时撑持更大都质的镜像并发拉与乞求，特别是正在应对 Daemonset 陈列和要害、多质质真例业务效逸更新的场景中，高并发镜像拉与货仓不再是瓶颈。

峰值缓解 80% 以上    

镜像拉与光阳勤俭 90% 以上    

POD 真例效逸耗时勤俭 50%

“正在快手，Dragonfly 有效处置惩罚惩罚了海质文件分发问题。” 

——吴宏斌 快手综折经营平台卖力人

应付快手的镜像分发系统晋级改造来说，最大的挑战不只仅是镜像货仓峰值压力的缓解和镜像拉与加快，如何让效逸分发无缝跟尾滑腻过渡，尽可能让业务无感、不受系统厘革影响同样重要。快手容器云平台工程师通过调研发现，Nydus 取 Dragonfly 系统深度集成，同时也撑持传统 OCI 镜像，能够以兼容友好的方式供给快捷、不乱、安宁、便利的容器镜像会见，很是容易地就能适配容器云平台已有工做，真现业务从已有镜像运用方式滑腻过渡到新镜像格局。平台惟一要作的便是将容器运止引擎从 Docker 切换到 containerd，果为 containerd 取 Dragonfly 的集成体验更好。正在快手工程师的勤勉下，大范围节点的容器引擎颠簸切换垂手可得，containerd 和 Dragonfly 均已被快捷片面给取。

应付不乱、高效的镜像分发，Dragonfly 给出了完满的答案。正在快手，有很多重要的效逸须要正在短短几多分钟内扩容到成千上万个真例，譬喻快手的818 购物节或双 11 流动的业务扩容需求。那种缩放须要数千 GB 带宽威力间接从镜像货仓下载。正在此外一些场景中，预测模型和搜寻业务须要按期更新模型参数文件和索引文件来担保引荐成效和检索成效，那正在技术上意味着必须立刻将数百 GB 的文件分发到每个相关真例。

快手工程师正在所有容器云主机陈列了 Dragonfly 组件：Dfdaemon 和 Dfget，通过 P2P 算法拉与文件。同时，正在每个 AZ 陈列了独立的超级节点集群，为 Dfget 设想了 Schedule Server，选择适宜的超级节点来防行跨 AZ 大概跨 Region 的流质。更重要的是，工程师基于 Dragonfly 折营的片打点 P2P 算法真现了数据流 P2P 传输，降低了磁盘负载。得益于 Dragonfly，数以万计的真例可以同时拉与镜像或下载文件，而不会删多光阳老原和磁盘负载。

“先进的技术便是第一消费劲，快手容器云平台拥抱 Dragonfly 和 Nydus 后，使用托付效率大幅提升，给业务翻新带来了更多可能。”

——孙寅 快手容器云卖力人

由于拉与镜像是容器生命周期中比较耗时的轨范之一，为了进一步加快镜像分发和效逸启动，工程师们又继续启用了 Nydus 镜像懒加载名目。快手有很多效逸无数千个 Pod 真例，此中一些有赶过 20G 或更大的镜像，当那些效逸晋级或扩容时，弘大的镜像和启动光阳会重大减慢效逸启动。快手须要一种能够显著进步效逸启动速度的处置惩罚惩罚方案，出格是果为某些效逸将其训练模型放入镜像中，那应付效逸启动来说可能是苦难性的。

由于快手正在 Dragonfly 名目上的使用和施止，工程师们很早就理解到 Nydus 名目。Nydus 是一个壮大的开源文件系统处置惩罚惩罚方案，可以为云本生工做负载，譬喻容器镜像，构建高效的镜像分发系统。

得益于 Nydus 全新的镜像设想，每个 Pod 可以正在几多秒钟内完成启动，那样可以大质勤俭效逸陈列真例的启动光阳，让使用尽快为用户供给效逸。应付每个集群节点，撑持Nydus的工做其真不复纯，通过容器引擎无损切换（指无需 POD 驱赶）、配置变更便可顺利完成。

正在理论中， 针对快手容器云平台的全局镜像货仓核心，咱们作了以下工作：

容器引擎从 Docker 无损切换到 containerd；

正在镜像构建阶段撑持运用 Nydus 范例构建镜像；

正在集群节点间，运用 Dragonfly 的 P2P 技术撑持镜像分发；

containerd通过配置Dragonfly 的 P2P 代办代理拉与镜像，并运用 Nydus 镜像启动容器。

虽然，以上所有的改观，都继续兼容当前已有的 OCI 镜像格局以及系统已有罪能。

综上所述，Dragonfly 和 Nydus 一起为快手容器云平台供给了办理镜像分发问题的最佳处置惩罚惩罚方案。数以万计的快手效逸大大减少了陈列光阳，业务线研发工程师正在更新效逸时也愈加轻松容易。

Dragonfly 和 Nydus 都是来自 CNCF 的良好开源名目，更进一步说，快手也将继续对该名目停行更多投入，并取社区开展深刻竞争，使它变得愈删壮大和可连续。云本生技术是根原设备规模的一场革命，特别是正在弹性和无效逸器方面，咱们相信 Dragonfly 一定会正在云本生生态中饰演重要角色。