测试之家

持续集成 centos＋Jenkins＋maven＋nginx，完整搭建持续集成小结

就不告诉你 · 2016年01月22日 · 最后由 恺 回复于 2016年02月04日 · 5102 次阅读
本帖已被设为精华帖！

本文将介绍在 centos 系统上完整搭建并运行 Jenkins 持续集成的实现细节，主要分以下几个步骤来介绍：

  • 1. Jenkins 的安装；
  • 2. Jenkins 的配置；
  • 3. nginx 反向代理配置访问域名；
  • 4. 相关插件安装；
  • 5. 系统设置明细；
  • 6. slave 节点配置；
  • 7.一些依赖项的安装。

一、 Jenkins安装

  1. 登陆需要安装Jenkins的centos机器；
  2. (可选) 卸载已有的 open jdk，安装最新版本的 java jdk，为后续集成maven服务做准备；
    • 安装：rpm -qa | grep jdk，显示结果如右（不同版本会显示 java 版本不同）：java-1.6.0-openjdk-1.6.0.0-1.45.1.11.1.el6.i686
    • 卸载：yum -y remove java-1.6.0-openjdk-1.6.0.0-1.45.1.11.1.el6.i686;
  3. 安装 java
    • 下载jdk：wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u40-b26/jdk-8u40-linux-x64.tar.gz ，jdk 的具体下载地址可根据版本和系统需要去官网自行选择，此处为 centos 64 位系统 1.8 版本的 jdk；
    • 创建/usr/java目录mkdir /usr/java，将文件解压到/usr/java目录下，tar -zxvf jdk-8u40-linux-x64.tar.gz -C /usr/java

  4. 配置 java 环境变量

    • 打开 profile 文件，vi /etc/profile ，末尾加上如下环境变量： 

      export JAVA_HOME=/usr/java/jdk1.8.0_40
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

    • 使 profile 文件生效，source /etc/profile

  5. 创建软链接，在/usr/bin目录下创建新的 java 工具的软链接（Jenkins 服务启动需要在 /usr/bin 下有 java 命令行工具）: ln -s /usr/java/jdk1.8.0_40/bin/java /usr/bin/java

  6. 安装 Jenkins

    • 安装步骤如下:

      sudo wget -O /etc/yum.repos.d/jenkins.repo  http://pkg.jenkins-ci.org/redhat/jenkins.repo
sudo rpm --import  https://jenkins-ci.org/redhat/jenkins-ci.org.key
sudo yum install jenkins

    • 使 Jenkins 能够以服务方式启动

      sudo service jenkins start/stop/restart
sudo chkconfig jenkins on

  7. 启动 Jenkins

    • 输入指令 sudo service jenkins start，如果出现类似如下的报错：

      Starting Jenkins bash: /usr/bin/java: 没有那个文件或目录

      或者

      Starting Jenkins Jenkins requires Java7 or later, but you are running 1.5.0 from /usr/lib/jvm/java-1.5.0-gcj-1.5.0.0/jre

      则说明 jenkins 没有找到 java 安装目录，若此时已经卸载了 openjdk，安装了新版本的全 java 包，则可以通过修改 init.d 中配置文件解决，方法如下：

      • 修改/etc/init.d/jenkins ，输入指令 vi /etc/init.d/jenkins

      • 找到candidates,修改如下，将你安装的java 所在路径写到第一个候选位置（最前面）即可，或建立/usr/bin/java软连接连接到新安装的 java，将/usr/bin/java写到最前。

        candidates="

/usr/bin/java

/usr/java/jdk1.8.0_40/bin/java

/etc/alternatives/java

/usr/lib/jvm/java-1.6.0/bin/java

/usr/lib/jvm/jre-1.6.0/bin/java

/usr/lib/jvm/java-1.7.0/bin/java

/usr/lib/jvm/jre-1.7.0/bin/java

/usr/lib/jvm/java-1.8.0/bin/java

/usr/lib/jvm/jre-1.8.0/bin/java

"

二、配置 Jenkins

  1. 打开 Jenkins，默认端口 8080。http://{jenkins_host}:8080/，发现 Jenkins 服务已经搭建成功；

  2. 更改 Jenkins 的默认执行用户，确保拥有后续构建中部分指令需要的高级权限。

    • 修改 Jenkins 执行用户，vi /etc/sysconfig/jenkins，修改JENKINS_USER的值，将 JENKINS_USRE="jenkins"改成 JENKINS_USER="root"，执行用户更改为root用户

    • 修改目录的相应权限

      sudo chown -R root /var/log/jenkins 
sudo chgrp -R root /var/log/jenkins

sudo chown -R root /var/lib/jenkins 
sudo chgrp -R root /var/lib/jenkins

sudo chown -R root /var/cache/jenkins 
sudo chgrp -R root /var/cache/jenkins

  3. 安装部分 Jenkins 插件

    • 系统管理 --> 管理插件 --> 可选插件;
    • 安装所需要的插件 (根据需要自行选择)，如 GitBucket Plugin、 FindBugs Plug-in 、Cobertura Plugin 、 Violations Plugin 、Email Extension Plugin 等

三、配置 nginx 反向代理

  1. 在 nginx 配置目录/etc/nginx/conf.d 目录下新建配置文件 jenkins.conf，配置文件内容如下

    server {
          listen       80;
          server_name jenkins.yourhost.com;
          #access_log  /var/log/jenkins.access.log  main;
          #error_log   /var/log/jenkins.error.log ;   
          client_max_body_size 60M;
          client_body_buffer_size 512k;
          location / {
                   port_in_redirect on;
                   proxy_pass http://127.0.0.1:8080$request_uri;
                   proxy_redirect  off;
                   proxy_set_header Host $host;
                   proxy_set_header X-Real-IP $remote_addr;
                   proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
                 }
        }

  2. 修改/etc/hosts，在末尾新增一行 :

    127.0.0.1     jenkins.yourhost.com

  3. 重启 nginx，/usr/sbin/nginx -s reload，即可以地址 jenkins.yourhost.com 访问 Jenkins 主页

四、相关插件安装

  1. 插件安装方法为，进入系统管理--->插件管理，在 Available 的 Tab 下勾选需要的插件直接安装即可。 一些常用的插件如下。
插件名 说明
Git plugin jenkins 的 git 集成工具，拉取源代码
GitBuckit plugin jenkins 的 gitbuckit 集成工具，拉取源代码（提供 gitbucket 的 webhook 配置，使 gitbucket 可以通过提交代码触发 build，webhook 地址为 http://[jenkins_host]/gitbucket-webhook/, 将其写入项目远程仓库的 settings->service hooks 里即可）
Cobertura Plugin 显示代码测试覆盖率报表，如 java 、python 等
Violations Plugin 用来展示 Python 静态代码审查报表，支持 pylint、jslint 等
Email Extension Plugin Jenkins 自定义邮件插件 。
Junit Plugin 用来展示生成的单元测试报表，支持一切单测框架，如 junit、nosetests 等
Maven Integration plugin maven 项目管理工具。一些 maven 代码质量管理命令：mvn sonar:sonar(单测结果，覆盖率)、findbugs:findbugs(静态代码检查) 、checkstyles:checkstyles(编写规范，潜在问题)
Description Setter Plugin 为每次 build 设置说明文字。通过正则表达式来匹配 log 里每行的输出，将符合正则表达式的部分显示在说明中。

Email Extension Plugin 的设置参考

Default Subject: 
        构建通知：$PROJECT_NAME - Build # $BUILD_NUMBER - $BUILD_STATUS!
Default Content:
        <hr/>
        (本邮件是程序自动下发的，请勿回复！)<br/><hr/>
        项目名称：$PROJECT_NAME<br/><hr/>
        构建编号：$BUILD_NUMBER<br/><hr/>
        git版本号：${GIT_REVISION}<br/><hr/>
        构建状态：$BUILD_STATUS<br/><hr/>
        触发原因：${CAUSE}<br/><hr/>
        构建日志地址：<a href="${BUILD_URL}console">${BUILD_URL}console</a><br/><hr/>
        构建地址：<a href="$BUILD_URL">$BUILD_URL</a><br/><hr/>
        失败单测：${FAILED_TESTS} <br/><hr/>
        变更集:${JELLY_SCRIPT,template="html"}<br/>
         <hr/>

五、系统设置明细

以下图解会对 Jenkins 系统的主要设置进行说明，可参考该部分进行必要的设置。

  • 系统常规设置。

    该部分为常规设置，如下图设置即可。主目录的高级部分点开，为工作空间和构建日志的目录设置，使用默认即可。

  • 构建环境设置，具体见下图。

    简单说明：
    Android 部分，Android SDK root 栏填入 android sdk 所在根目录，如 /home/work/Library/Android/sdk；
    JDK 部分，若已经安装 JDK，则取消 “自动安装” 的勾选，填入 JAVA_HOME，即你的 jdk 安装根目录；
    Git 部分，若已安装了 git，取消勾选 “自动安装”，在 Path to Git executable 填入 git 工具的绝对路径如/usr/bin/git 或者 git 即可（已配置好环境变量）。

    该部分依然是配置各构建环境。
    ANT_HOME 填入 ant 工具的根目录，已安装则取消 “自动安装” 的选项，写入 ant 工具所在根目录；
    MAVEN_HOME 写入 maven 工具的根目录，需要注意的是，建议 maven 根目录放置在公共目录/opt目录下，否则 Jenkins 运行用户有可能无权限访问 maven 安装所在目录而无法识别路径，依然是已安装则取消 “自动安装” 的选项。

    继续配置:
    Jenkins Location，写入你的 Jenkins 访问地址。比如：http://[jenkin_host]:[8080]/；系统管理员邮件地址，必须写入邮件发送人地址，如 jenkins@example.com；
    CVS 需要配置的话，则填入相应信息，如 Private Key Location: Jenkins 服务运行用户的 rsa 私钥地址，如~/.ssh/id_rsa；Private Key Password 未设置则不用填写； Known Hosts Location 写入 known_hosts 目录。

  • 邮件收发设置

此处是之前推荐安装的邮件插件 Email Extension Plugin 的设置。
邮件收发设置，按照字段要求填写即可，SMTP server 为邮件的 smtp 服务器地址；
Default Subject：邮件默认标题，可以带 Jenkins 变量，如：构建通知：$PROJECT_NAME - Build # $BUILD_NUMBER - $BUILD_STATUS!
Default Content:  邮件默认内容，可以带 Jenkins 变量，如

(本邮件是程序自动下发的，请勿回复！)


项目名称：$PROJECT_NAME

构建编号：$BUILD_NUMBER

git 版本号：${GIT_REVISION}

构建状态：$BUILD_STATUS

触发原因：${CAUSE}

构建日志地址：${BUILD_URL}console

构建地址：$BUILD_URL

失败单测：${FAILED_TESTS}

变更集:${JELLY_SCRIPT,template="html"}


需注意，要点击 Default user E-mail suffix 右下方的“高级（advance）”选项，才能进行邮件发送的 smtp 服务器的详细设置，设置如下：
勾选 “use SMTP Authentication”，根据字段填入相应信息。
User Name: 发送邮件的 email
Password: 发送人 email 的登陆密码。
SMTP port: SMTP 邮件服务器的端口。

点击 “Default Triggers” ，展开邮件发送触发器配置界面，如下图所示，根据需求勾选默认的触发发送邮件的方案。

下图为默认的邮件发送选项配置，若已经配置了之前介绍的 Extended E-mail Notification 的邮件选项，则该部分可忽略。
填写字段如 Extended E-mail Notification，注意，该部分需要勾选 “使用 smtp 认证”，才能展开 smtp 配置项的填写，不可忽略。

  • Publish over SSH 配置

Path to key: jenkins 服务运行用户的 rsa 私钥路径，如~/.ssh/id_rsa；
Key: 将 Jenkins 服务运行用户的私钥全部内容填入，即~/.ssh/id_rsa 内的全部内容粘贴到此框；
 Passphrase：创建 ssh-keygen rsa 私钥时，未设置则不填写。
 rsa 方式远程操作机器的前提是，Jenkins 所在用户的id_rsa.pub 即公钥内容已经在远程机器用户.ssh 目录下的authorized_keys文件内，请确保 Jenkins 的公钥已复制到远程机的~/.ssh/authorized_keys 文件中。

SSH Servers（下图），需要远程操作的机器的信息配置，按照字段填写远程机器名称（自定义）、host 地址、访问用户和远程机器的指定工作目录即可。

点击 “高级（advanced）” 选项，展开 SSH Servers 的详细配置信息，如下图：
勾选 Use password authentication, or use a different key，展开针对于访问该远程机器的详细配置信息。
Key ：将 Jenkins 服务运行用户的私钥全部内容填入，即~/.ssh/id_rsa 内的全部内容粘贴到此框。
port ：ssh 连接远程机器的端口，ssh 默认端口 22。

六、slave 节点配置

  1. 设置 linux  的 slave 机器环境。
    创建专用的 jenkins 用户来管理 Jenkins job（可选）

    • 创建 jenkins 用户

      sudo /usr/sbin/useradd -m jenkins -d /home/jenkins

    • 查看 jenkins 用户及组的信息：

      id jenkins
显示结果：uid=1000(jenkins) gid=1000(jenkins) groups=1000(jenkins)

    • 设置用户 jenkins 的密码：

      sudo /usr/bin/passwd jenkins

    • 切换到用户 jenkins 环境下，su jenkins；

    • 确保 slave 机器上 java 安装正确，java -version（java home 最好放在 /opt 公共目录下）；

    • 确保 ssh 正确运行

      /sbin/service --status-all | grep ssh

  2. 在 Slave 的 linux 机器上创建 public/private key pair；

    • 确保当前用户为 jenkins;

    • 进入主目录下的.ssh 目录（ 没有则建立目录 mkdir .ssh  ），创建 public/private key pair:

      • 生成秘钥匙：

        ssh-keygen -t rsa

      • 一路回车，不要设置 passphrase，文件生成在.ssh 目录下，私钥文件 id_rsa，公钥文件 id_rsa.pub；

      • 在.ssh 目录中创建文件 authorized_keys；

      • 将公钥加入到 authorized_keys 文件中，用以 Jenkins 的 slave 配置能通过 ssh 方式连接。

        cat id_rsa.pub > authorized_keys

    • 对.ssh 目录下文件赋予权限:

      chmod -R 700 .ssh
chmod 600 authorized_keys

  3. 创建 slave 节点。

    • 系统管理－> 管理节点 －> 创建一个 dumb  slave，配置如下图： 注意填写标签（labels），标签内容将决定 job 是否在有该标签的slave机器上构建；
    • Credentials 这里写入连接 slave 机器的用户名密码，如果用 ssh 方式，则在 Private Key 中填入 slave 机器的全部私钥内容 (id_rsa)，如图： 点击保存，配置完毕。

  4. 配置构建环境的依赖项。

    • slave 机器在构建各种 job 的过程中，会遇到 maven、ant、java、python、nosetests 等工具执行命令的情况，此时需要在 slave 机器上安装相应的依赖，如需要 maven 工具，则安装 maven，安装过程如 master 机器；

    • 安装完毕之后，因为此 slave 机器用之前自建的名为jenkins 的用户来构建 job，所以一定要配置好全局环境变量：

      • 切换到 root 用户；

      • 更改系统配置文件：

        vi /etc/profile

      • 在文件末尾添加环境变量，如配置 maven：

        export M2_HOME=/opt/apache-maven-3.3  #（你的maven所在目录）， 并将该目录的bin目录添加到环境变量PATH中
export PATH=$PATH:$M2_HOME/bin

      • 退出后生效，source /etc/profile

  5. 用 slave 机器构建 job。

    • 新建 job，在 job 的配置项中，勾选“Restrict where this project can be run”，在 Label Expression 中，输入之前填写好的 slave 的标签，则该 job 将在有该标签 slave 机器上 build；
    • 如果填写的标签没有任何 slave 机器标记过（slave 机器没有填写过标签），则可以选择某 slave，在该 slave 的 Configure 的 “Labels” 框中，将之前 job 了填写的 “Label Expression” 的内容输入即可。

七、一些依赖项的安装

  1. maven 安装。

    • 下载 maven 文件，官网下载对应版本。http://maven.apache.org/download.cgi；
    • 解压下载的包，将 maven 目录移动到自定义目录下，建议移动到/opt公共目录下，以便任何用户能够访问到该目录，例如/opt/apache-maven-3.3；
    • 配置 maven 环境变量，修改/etc/profile，在文件末尾增加export M2_HOME=/opt/apache-maven-3.3（你的 maven 所在目录）， 将该目录的 bin 目录添加到环境变量 PATH 中，export PATH=$PATH:$M2_HOME/bin;
    • 使配置生效，source /etc/profile;

    • 测试 maven 安装成功，mvn -v，出现配置信息如下则说明 maven 配置成功：

      Apache Maven 3.3.3 (7994120775791599e205a5524ec3e0dfe41d4a06; 2015-04-22T19:57:37+08:00)
Maven home: /Users/turinblueice/Downloads/apache-maven-3.3.3
Java version: 1.8.0_40, vendor: Oracle Corporation
Java home: /Library/Java/JavaVirtualMachines/jdk1.8.0_40.jdk/Contents/Home/jre
Default locale: zh_CN, platform encoding: UTF-8
OS name: "mac os x", version: "10.10.5", arch: "x86_64", family: "mac"

  2. centos 下一些 python 包的安装（可能在一些 python 项目的持续集成中会用到）：

    • yum install python-mock（python 测试桩工具）python-nose（python 单测工具）python-coverage
（python 覆盖率统计工具） 
    • pip install pylint（静态代码检查工具） 安装后命令行工具在/usr/bin/下或/usr/local/bin 下
37 个赞
如果觉得我的文章对您有用，请随意打赏。您的支持将鼓励我继续创作！
打赏支持
共收到 7 条回复 时间 点赞
就不告诉你 #7 · 2016年01月22日 Author

未完待续

云飞凌风 #2 · 2016年01月23日

赞，整理的不错。

就不告诉你 #3 · 2016年01月25日 Author

#2 楼 @wangcityboy 谢谢，未完的马上会补充

就不告诉你 #4 · 2016年02月03日 Author

已完成，done。

恒温 #3 · 2016年02月03日

第一个如此详细描述 jenkins 搭建的帖子么？@snake 比你那个是不是详细？

国文 #2 · 2016年02月04日

很详细，赞下。

恺 #1 · 2016年02月04日

#5 楼 @lihuazhang 百度的骚年

需要 登录 后方可回复, 如果你还没有账号请点击这里 注册。