vivo 自研Jenkins资源调度系统设计与实践

原文从目前业界真现Jenkins的高可用的真现方案，阐明各方案的劣弊病，引入vivo目前运用的Jenkins高可用方案，以及目前Jenkins资源的调治方案的设想理论和目前的落地运止成效。

一、前言

如今的企业不少都正在用Jenkins作连续集成，各个业务端都依靠Jenkins，vivo Devops也是运用Jenkins来停行连续构建，陈列Jenkins效逸时如何保障效逸的高可用变得尤为重要。

下面是目前Jenkins存正在的一些问题。

Jenkins自身是单体的，即只能有一个Jenkins Master。尽管你也可以正在多台呆板上陈列多个Jenkins Master，但那些Master之间没有联络，都是各自把任务交给部下的slave去执止，没有任何交加。兴许某个master下的slave很忙，而另一个master下的slave却很闲，资源得不到丰裕操做。

当此中一个slave宕机之后，该slave上的运止的job任务没有版原从头停行分配，须要用户从头执止。并且slave节点离线之后没有通知打点员。

当系统业务质比较大的时候业务乞求会合正在Jenkins Master上，会对Jenkins组成压力，以至的组成Jenkins效逸不成用。

当有job任务正在jenkins Master上队列排队的时候，Jenkins Master宕机后，队列任务不生恒暂化。

Jenkins Workspace没有主动清算罪能，会招致磁盘空间有余，任务执止不了的状况。

基于以上状况，vivo Devops对Jenkins的陈列架构停行劣化搭建，并且配套了一套Jenkins资源调治系统用于打点Jenkins资源。

二、业界真现

目前业界也包孕一些Jenkins 高可用的设想方式，但是其真不能彻底的满足处置惩罚惩罚上述问题，比如：

2.1 方案一 Gearman + Jenkins

那是OpenStack团队运用的方案。那个方案运用了gearman， gearman是个任务分发框架。

须要正在每个Master上拆置好gearman的插件，并配置好能连贯到gearman server，同时正在每个Master必须建设雷同的job。

之后运止任务的流程如下：

gearman worker运止正在各个Jenkins Master中等候gearman server分发任务；

gearman client向gearman server发出运止job的乞求；

gearman server通知各个gearman worker有任务拉，第一个闲着的worker会承受任务，假如所有的worker都忙，则放入gearman的任务队列，得worker闲暇时再分配；

gearman worker闲下来后会从任务队列里与job来执止，执止完之后，将结因发还给gearman server;

gearman server将结因返回给 gearman client。

劣点： 那样各个salver资源可以获得丰裕操做，某个master挂掉此外的master可以继续效逸。 弊端： 每个master的slave必须配置一致，否则会组成job调治舛错，同时会组成一些资源的华侈。当一个master显现问题，该master的任务不会停行主动从头分配。

2.2 方案二 改造Jenkins的文件存储方式

目前Jenkins的配置文件都是间接正在硬盘上以文件模式存储的，你正在JENKINS_HOME的个文件夹下能看到各类.xml文件。有些公司正在Jenkins上停行二次开发，将Jenkins的数据存储方式改为数据库存储，那样前端可以起多个Jenkins效逸，后端连雷同的数据库便可。数据库也有比较成熟的高可用方案。

劣点: 可以抵达Jenkins的高可用也便是某个master挂掉此外的master可以继续效逸。 弊端：须要对Jenkins停行二次开发，运用数据库会降低读与资源效率下降。

2.3 方案三 最简略的Jenkins一主一备形式

平常让Jenkins A呆板供给效逸，并运用SCM Sync configuration plugin保存数据，JenkinsA呆板批改配置后触发Jenkins B更新配置，一旦Jenkins A显现问题挂掉后，切换到备机Jenkins B上。

劣点: 可以抵达Jenkins的高可用，当master宕机后会停行切换到备机上。 弊端: 会有一批Jenkins备机存正在资源华侈，切换master光阳过长，会招致有段光阳Jenkins效逸不成用。

三、vivo Jenkins Scheduler系统目的

由于目前业界的一些真现还不能彻底的满足咱们目前的需求，所以咱们停行了vivo jenkins scheduler系统的设想取真现。该系统须要抵达如下的宗旨：

提升整个构建效逸牢靠性时长。 担保jenkins集群的高可用，处置惩罚惩罚目前master-slave的单点问题，担保整个构建效逸的牢靠性时长。

降低苦难时效逸规复时长。 ①供给精准流控方式，正在jenkins构建显现乞求质过高的时候可以停行流控和恒暂化收配，减少对目前系统的攻击。 ②当系统压力减少后，放开流控可以快捷的对沉积的乞求停行分配执止。

有效分配任务至各个子节点，担保资源的有效操做。

能担保苦难时的实时切换任务至可用节点上，同时能快捷的通知打点员停行办理。

能停行数据的可视化阐明，能供给一系列协助改进开发效率的视图，比如构建时长报表、构建质报表等。

四、 vivo Jenkins Scheduler设想

该系统咱们从两大局部停行了设想，首先，咱们不给取本生的Jenkins陈列方案，而是给取全master的方式。第二，设想并开发了一套用于打点Jenkins集群的调治系统。

五、底层 Jenkins 工具陈列方案

不给取目前单master的搭建方案，给取多master的搭建方案，master下不竭行挂载slave呆板，任务间接有master停行办理，master之间的干系、任务分配、离线、插件拆置等由调治系统停行打点。那样由于vivo Jenkins Scheduler系统为高可用的，处置惩罚惩罚了目前Jenkins的单点问题。

六、系统架构图

七、系统注明7.1 API-Gateway

次要供给系统的外部乞求，网干系统，罪能包孕：

权限校验：校验用户发送集群打点系统的乞求的权限。

智能路由：接管外部一切乞求，并转发到后实个外服上去。

限流：取监控线程共同（当构建乞求抵达某个阈值时），停行限流收配。

API日志统一聚集：类似于一个aspect切面，记录接口的进入和进来时的相关日志。

数据办理：对乞求的参数停行数据的转换办理。

7.2 变乱核心

是整个系统通信挪用的次要模块，给取的是Spring的Event机制真现，次要焦点变乱如下：

Jenkins注册变乱 （EVENT_REGIST_JENKINS）： Jenkins启动后，通过自定的插件会向系统发送注册乞求时，系统接管到后会触发Jenkins打点模块将Jenkins的信息注册至调治系统中。

Jenkins宕机变乱 (EVENT_DOWN_JENKINS) : 监控打点轮询检查Jenkins形态，当发现有Jenkins宕机的状况会触发该变乱，Jenkins打点模块办理将Jenkins的信息形态设置为不成用形态，从而是任务不能分配至该台jenkins。

任务从分配变乱 (EVENT_JOB_REDO) : 当Jenkins宕机后，假如该台jenkins上存正在未执止完的任务时候，由job监控模块触发，job打点莫管办理，会对该Jenkins上未执止的job停行从头分配。

任务承受变乱 (EVENT_JOB_RECIVE) : 当job打点模块承遭到创立乞求，会触发该变乱，由job打点模块放入Redis执止队列。

任务执止变乱 (EVENT_JOB_EXECUTE) : job打点模块中的执止线程(10s执止一次，会从Redis队列中弹出任务)，弹出任务后触发该变乱，由调治核心选与适宜的jenkins停行执止。

7.3 调治核心

是整个系统的焦点模块，次要的罪能是停行执止job时候能选与适宜的jenkins停行办理任务，包孕两个焦点算法：

7.3.1 Jenkins分组算法

每台Jenkins都可以运用标签的方式，打上多个标签，比如Jenkins可以构建Java步调，运用的构建工具可以是maven和gradle，那个时候咱们就可以给其打上Java、maven、gradle三个标签。

标签的维度次要有以下几多个：

标签配置： 判断构建配置能否配置了标签，依据标签选择对应标签的Jenkins，比如配置了（docker等）。

构建语言： 依据构建配置的语言，比如Java、C++、Python、Go等。

构建工具和版原： 比如Maven、gradle、Ant，Cmark、Blade等。

JDK版原：比如JDK7、JDK8等。

Go语言版原：比如1.15.x.、1.16.x等。

GCC版原：如6.x、4.x等。

Python版原：2.x、3.x等。

能否存活：判断Jenkins能否存活，假如宕机间接过滤。

（可选战略）选择执止过该job的Jenkins，减少下载代码的历程：（第一次构建还是会比较慢，可以给取预执止的方式，正在配置构建配置的时候，就预先执止一次，那样正在用户执止的时候就运用该job执止过得workspace，减少代码下载的光阳）。

（可选战略）依据job的构建的均匀构建时长，假如构建时长抵达某个配置阈值时，劣先选择构建器闲暇多的Jenkins停行执止，并指出Jenkins的锁定罪能。其余的job不允许分配上来。

假如咱们给Jenkins打上标签，这么咱们就可以运用标签为维度将Jenkins停行分组，并且存入至Redis中缓存，便捷后续选与Jenkins用来执止任务：

7.3.2 Jenkins选与算法

当Jenkins分组好了后，咱们承遭到执止的job的信息就可以运用Jenkins选与算法停行快捷的选与适宜的Jenkins停行办理job，如下图所示。

此中label子线程、语言子线程……便是咱们上面的Jenkins分组的维度，有几多多维度，这么那里就会有几多多子线程办理。

构建任务进入主线程，而后主线程会依照分组维度分组收配并停行过滤，而后获与到每个分组中适宜的Jenkins，再停行与交加（那个时候就获与到可以执止该构建任务的Jenkins了），正在判断能否须要颠终可选战略，最末获得Jenkins。

7.4 流控打点&队列打点

调治系统中的的任务承受给取的是队列的方式真现，当系统乞求质抵达阀后，系统将不会进入Redis队列，会将乞求恒暂化至MySQL。后续假如有乞求过来，job打点模块会检查数据库MySQL中能否有乞求，假如有乞求，会将乞求放入Redis队列，假如没有乞求就会将当前乞求放入Redis队列，详细流程如下:

此中基于Redis真现的音讯队列的时序图如下:

7.5 回调核心

该模块次要是监控任务的形态，当任务初步执止、中断执止、执止乐成、执止失败的时候停行通知业务并存储数据，用于保存构建记录，便捷后续数据的统计，用来完成数据的可视化。

八、施止成效

目前该系统曾经投入消费环境运止，Jenkins任务已给取调治系统停行调治执止，运止不乱，运止成效。

九、后续展望

跟着vivo Jenkins 调治系统的罪能仓促完善，Jenkins的呆板也越来越多，目前还大大都运止正在虚拟机上，从资源操做率和业务发布效率来看，将来的业务发布状态将会是以容器为主。目前公司也正在鼎力展开k8s的容器生态建立，

所以咱们欲望将Jenkins工具后期停行容器化、池化，正在进步资源操做率和发布效率的同时也可以为用户供给牢靠的、简约的、不乱调治执止。