移动测试基础 jacoco 覆盖率与 git diff 结合的应用实践

syl7752 · October 24, 2016 · Last by 第一号伤心人 replied at June 18, 2019 · 5253 hits
本帖已被设为精华帖!

前言

覆盖率是衡量测试质量的一个指标,但在版本高速迭代的互联网应用中,单纯通过代码覆盖率的数值是无法体现测试实际覆盖的问题,尤其是版本之间的diff,而且研发也并不会仔细的去看每行代码的覆盖.所以有了覆盖率与git diff结合的想法,通过查看功能测试中版本代码变更的部分是否覆盖,更高效的利用覆盖率,保证变更功能被测试覆盖

覆盖率的收集

覆盖率使用的jacoco 关于jacoco手工测试生成:

根据q博的方式略做了修改,在应用中加了隐藏开关,并在退出应用时统计覆盖率并上传到服务器.这里用的是ftp,虽然有点过时,但还算方便~
代码很简单,就不贴了.

class文件的收集

jacoco的生成需要对应的class文件,所以需要在编译打包时将class文件上传

dependencies {
ftpAntTask("org.apache.ant:ant-commons-net:1.8.4") {
module("commons-net:commons-net:1.4.1") {
dependencies "oro:oro:2.0.8:jar"
}
}
}
def remotedir = "Class/" //ftp目录
//def hostname = "10.0.100.210"
def hostname = "10.0.0.243"
def username = "uftp"
def password = "111111"

task uploadFTP << {
//上传至FTP
remotedir += innerVersion
ant {
taskdef(name: 'ftp',
classname: 'org.apache.tools.ant.taskdefs.optional.net.FTP',
classpath: configurations.ftpAntTask.asPath)
ftp(server: hostname,
userid: username,
password: password,
remotedir: remotedir,
action: 'mkdir')
ftp(server: hostname,
userid: username,
password: password,
remotedir: remotedir) {
fileset(dir: "./build/intermediates/classes") {
}
}
}
}

在jenkins上覆盖率报告生成

首先在job里添加了三个可选参数,用于选择新旧版本以及分支

构建时进行jacoco文件的合并和报告的生成,并调用我写的java程序改造报告.

# generate jacoco report
gradle jacocoMerge --stacktrace
gradle jacocoTestReport

# generate final report
java -jar ~/work/gitdiff.jar -r $OldVersion $NewVersion -j build/reports/jacoco/jacocoTestReport/html -p src/main/java
cp -r ~/work/.resources build/reports/jacoco/jacocoTestReport/

在程序中调用git diff, 并对结果进行解析

public HashMap<String,FileDiff> parseGitDiff()
{
HashMap<String,FileDiff> fileMap=new HashMap<String,FileDiff>();
ArrayList<String> curFile=new ArrayList<String>();
for (int i = 0; i < diffList.size(); i++) {
curFile.add(diffList.get(i));
if((i+1)==diffList.size()||diffList.get(i+1).startsWith(GIT_FLAG))
{
FileDiff diff=new FileDiff(curFile);
fileMap.put(diff.getId(), diff);
curFile=new ArrayList<String>();
}
}
return fileMap;
}

public ArrayList<LineDiff> parseLineDiff(ArrayList<String> files)
{
ArrayList<LineDiff> diff=new ArrayList<LineDiff>();
boolean isStart=false;
String frontLine="";
for (int i = 0; i < block.size(); i++) {
String line=block.get(i);


if((i+1)<block.size()&&block.get(i+1).startsWith(MINUS_FLAG)&&!isStart)
{
isStart=true;
frontLine=block.get(i);
}
if(line.startsWith(MINUS_FLAG)&&isStart)
{
LineDiff lineDiff=new LineDiff(frontLine, line,LineDiff.Type.Minus);
diff.add(lineDiff);
}
if(i>1&&!block.get(i-1).startsWith(MINUS_FLAG)&&!line.startsWith(MINUS_FLAG))
{
frontLine=block.get(i-1);
isStart=false;
}
if(line.startsWith(PLUS_FLAG))
{
LineDiff lineDiff=new LineDiff(frontLine,line,LineDiff.Type.Plus);
diff.add(lineDiff);
}

}
return diff;
}

代码写的不太好,能力强的同学可以忽略~
将git diff提取出来后找到对应覆盖率html并写入.从而产生了一个只有代码变更文件的list
效果:

然后更改jacoco原来的prettify.js文件,对变更代码进行标记

function showDef (defLine) {
var beginLine = defLine[0].substring(1);
var between = defLine[1];

var target = document.getElementsByClassName('linenums')[3];
var defDom = document.createElement('div');

var beginDom = target.getElementsByTagName('li')[beginLine - 1];
with(defDom.style){
position = 'absolute';
left = '9px';
top = beginDom.offsetTop + 16 + 'px';
backgroundColor = '#0f0';
opacity = '.3';
width = '40px';
height = 15 * between + 'px';
};
defDom.id = 'def' + beginLine;
document.documentElement.appendChild(defDom);
}

对变更代码进行跳转

function showDefLine () {
var content = window['CONTENT'];
var def = content.match(/@@(.*[^@@])/g);
for (var i = def.length - 1; i >= 0; i--) {
var _def = def[i].replace(/@@/g, '').split(' ');
showDef(_def[2].split(','));
};

var sourceDom = document.getElementsByClassName('linenums')[1];
sourceDom = sourceDom.getElementsByTagName('span');
for (var i = sourceDom.length - 1; i >= 0; i--) {
if(sourceDom[i].innerHTML === '@@'){
sourceDom[i].parentNode.onclick = function () {
document.body.scrollTop = document.getElementById('def' + this.getElementsByTagName('span')[9].innerHTML).offsetTop - 100;
}
}
};
}

修改后的效果如下,页面top显示diff代码

左侧绿色标记diff代码

最后,写的很匆忙,有点乱,勿怪~

共收到 23 条回复 时间 点赞
思寒_seveniruby 将本帖设为了精华贴 24 Oct 19:10

加精理由: 体现了社区的技术传承与创新. 弥补了社区缺乏的白盒分析技术点.

我记得有赞之前做过一个自动把覆盖率上传到远程服务器, 实时生成报告的技术 . http://tech.youzan.com/code-coverage/
非常不错, 值得参考

#3楼 @seveniruby 感谢思寒分享,回头参考改进下~

.从而产生了一个只有代码变更文件的list

楼主 怎么样从全量的html里过滤出变更的list的,这个伪代码能不能告诉下?

#5楼 @wangyijie7 在解析git diff的后就已经可以获得一个变更的list了 在过滤全量的html文件时,根据包名及类名获得对应的java.html 然后提取出来

楼主你好,请问jacoco覆盖率是否是建立在有单元测试代码的项目里面的? @syl7752

#7楼 @simple 这里统计的是手工测试的覆盖率 没有单元测试的

@syl7752 就是过滤html文件是吧 明白了,谢谢了,多交流.

#8楼 @syl7752 可以覆盖到jar包里面的代码吗?

syl7752 #12 · October 25, 2016 作者

#10楼 @simple 应该是不能

syl7752 #13 · October 25, 2016 作者

#10楼 @simple 我的意思是单纯使用是不能的 不知道有没有办法实现

lz,这个可以计算出覆盖率吗

#14楼 @gugutian 是可以的 只不过比较麻烦 需要统计覆盖的行数与变更的行数

#14楼 @gugutian 是可以的 只不过比较麻烦 需要统计覆盖的行数与变更的行数

有木有demo可以参考下呀,感觉diff代码标记部分有点复杂😄

“然后更改jacoco原来的prettify.js文件,对变更代码进行标记”
prettify.js文件 哪里调用showDef()和showDefLine() 这两个function呢?

#18楼 @cryingdream94 showDefLine在doWork函数里调用,showDef在showDefLine里调用了

#17楼 @gugutian 参考最后的两块js代码

syl7752 回复

可以diff出差异 然后结算差异化覆盖率

raoweijian jacoco 增量覆盖率计算工具 中提及了此贴 18 Jul 20:13

请教一下,这个git diff用了那个类库呀?

可以diff出差异 然后结算差异化覆盖率,咋实现?

justin 回复

@justin 你这边是如何统计出来的?

需要 Sign In 后方可回复, 如果你还没有账号请点击这里 Sign Up