移动测试基础 Android 手工测试的代码覆盖率

易寒 · May 07, 2015 · Last by replied at April 23, 2019 · 4612 hits
本帖已被设为精华帖!

昨天我们探究了UI自动化中代码覆盖率,今天我们来看看如何实现功能测试人员测试过程中,代码覆盖率的计算

先纠个错

昨天我们使用jacoco,在build.gradle加入了很多代码:

apply plugin: 'jacoco'
....
jacoco{
toolVersion = "0.7.1.201405082137"
}
android {
buildTypes {
debug {
testCoverageEnabled = true

}

今天验证了一下,上面的代码只需要一个testCoverageEnabled = true 其他都不需要添加,就可以使用jacoco,我们来实验一下:

这里写图片描述

试验证明,gradle为android提供的插件默认使用的是jacoco,所以你只需要将testCoverageEnabled设置为true,一切就都搞定了。

回归正题

现在我们来回到正题,就是如何在手工测试的过程中收集代码覆盖率呢?首先我们试试Monkey跟我说的,还是用Instrumentation的case启动应用,然后在case中sleep一段时间,在这段时间中,我们手动去点击控件,来看能否收集到代码覆盖率。

添加一个activity

为了方便观察,我在主activity中添加一个button,点击button可以跳转到GoActivity。

MainActivity:

package com.wuba.wuxian.android_0504;

import android.content.Intent;
import android.support.v7.app.ActionBarActivity;
import android.os.Bundle;
import android.view.Menu;
import android.view.MenuItem;
import android.view.View;
import android.widget.Button;


public class MainActivity extends ActionBarActivity {

private Button goButton = null;

@Override
protected void onCreate(Bundle savedInstanceState) {
super.onCreate(savedInstanceState);
setContentView(R.layout.activity_main);
goButton = (Button) findViewById(R.id.button);
goButton.setOnClickListener(new View.OnClickListener() {
@Override
public void onClick(View v) {
Intent intent = new Intent(MainActivity.this,GoActivity.class);
startActivity(intent);
}
}
);
}


@Override
public boolean onCreateOptionsMenu(Menu menu) {
// Inflate the menu; this adds items to the action bar if it is present.
getMenuInflater().inflate(R.menu.menu_main, menu);
return true;
}

@Override
public boolean onOptionsItemSelected(MenuItem item) {
// Handle action bar item clicks here. The action bar will
// automatically handle clicks on the Home/Up button, so long
// as you specify a parent activity in AndroidManifest.xml.
int id = item.getItemId();

//noinspection SimplifiableIfStatement
if (id == R.id.action_settings) {
return true;
}

return super.onOptionsItemSelected(item);
}
}

GoActivity:

package com.wuba.wuxian.android_0504;

import android.support.v7.app.ActionBarActivity;
import android.os.Bundle;
import android.view.Menu;
import android.view.MenuItem;


public class GoActivity extends ActionBarActivity {

@Override
protected void onCreate(Bundle savedInstanceState) {
super.onCreate(savedInstanceState);
setContentView(R.layout.activity_go);
}


@Override
public boolean onCreateOptionsMenu(Menu menu) {
// Inflate the menu; this adds items to the action bar if it is present.
getMenuInflater().inflate(R.menu.menu_go, menu);
return true;
}

@Override
public boolean onOptionsItemSelected(MenuItem item) {
// Handle action bar item clicks here. The action bar will
// automatically handle clicks on the Home/Up button, so long
// as you specify a parent activity in AndroidManifest.xml.
int id = item.getItemId();

//noinspection SimplifiableIfStatement
if (id == R.id.action_settings) {
return true;
}

return super.onOptionsItemSelected(item);
}
}

AndroidManifest.xml:

<?xml version="1.0" encoding="utf-8"?>
<manifest xmlns:android="http://schemas.android.com/apk/res/android"
package="com.wuba.wuxian.android_0504" >

<!-- To access Google+ APIs: -->
<uses-permission android:name="android.permission.INTERNET" />
<!--
To retrieve OAuth 2.0 tokens or invalidate tokens to disconnect a user. This disconnect
option is required to comply with the Google+ Sign-In developer policies
-->
<uses-permission android:name="android.permission.USE_CREDENTIALS" /> <!-- To retrieve the account name (email) as part of sign-in: -->
<uses-permission android:name="android.permission.GET_ACCOUNTS" /> <!-- To auto-complete the email text field in the login form with the user's emails -->
<uses-permission android:name="android.permission.READ_PROFILE" />
<uses-permission android:name="android.permission.READ_CONTACTS" />

<application
android:allowBackup="true"
android:icon="@mipmap/ic_launcher"
android:label="@string/app_name"
android:theme="@style/AppTheme" >
<activity
android:name=".MainActivity"
android:label="@string/app_name" >
<intent-filter>
<action android:name="android.intent.action.MAIN" />

<category android:name="android.intent.category.LAUNCHER" />
</intent-filter>
</activity>

<meta-data
android:name="com.google.android.gms.version"
android:value="@integer/google_play_services_version" />

<activity
android:name=".GoActivity"
android:label="@string/title_activity_go" >
</activity>
</application>

</manifest>

我们的Robotium脚本如下:

public class MainActivityTest extends ActivityInstrumentationTestCase2 {
private Solo solo;

public MainActivityTest() {
super(MainActivity.class);
}

@Override
public void setUp() throws Exception {
super.setUp();
solo = new Solo(getInstrumentation(), getActivity());
}

public void testStartClose() throws Exception {
Thread.sleep(1000 * 10);
}


// public void testClickButton(){
// solo.clickOnText("Go");
// }

@Override
public void tearDown() throws Exception {
solo.finishOpenedActivities();
}

}

获取代码覆盖率

我们分两种方式获取代码覆盖率

只执行UI脚本

这里写图片描述
结果可以看出来,我们的代码覆盖率是42%

执行脚本后,手动点击一下Go按钮

我们的代码覆盖率达到了74%,jacoco也统计了我手工点击的操作。

总结

虽然实现了统计手工测试的代码覆盖率,但是还是得依赖instrumentation,而且时间还有限制,我们在Robotium的case中设置的时间是10s,意思10s内的操作会统计,结束以后就不统计了。这就无法自由的测试了。所以这种方法还是不好,明天试试思寒大哥的方法。

(先去踢球了)

如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
共收到 31 条回复 时间 点赞

你再补充下我之后说的那种方式嘛~

Monkey 的点子太牛了。
这样是不是能看出来每个手工测试人员,是否真正的跑了case,而不是在偷懒.............

#2楼 @recluse6860 手动用例的覆盖率不错

易寒 #4 · May 07, 2015 作者

#1楼 @monkey 明天

都后天了

易寒 #6 · May 09, 2015 作者

#5楼 @lihuazhang 还没研究出来

快大后天了。。。。

易寒 #8 · May 10, 2015 作者

#7楼 @monkey 什么时候研究完,什么时候才会出。鄙视你们

mark一下,有空研究一下,手工case统计覆盖率很有用

之前也弄过通过Emma来实现Android黑盒手工测试的代码覆盖率, 分享一下:http://www.dzwanli.com.cn/?p=996

易寒 #11 · May 25, 2015 作者

#10楼 @chichimei 使用maven和ant的话,可以使用emma,gradle时代,google抛弃了emma,选择了jacoco

#11楼 @doctorq 这样,还停留在emma,看来要赶紧学习起来

易寒 #13 · May 25, 2015 作者

#12楼 @chichimei 看公司是选择gradle还是maven。

Android studio 上没没搜索到 jacoco 插件啊

按你那中配置报错

易寒 #16 · June 03, 2015 作者

#15楼 @idoit007 把你的build.gradle配置文件发出来看看

#15楼 @idoit007 添加头像,发gradle 配置

这个必须用robotium写的case吗?直接安装生成的apk,点击没有用的,对吗?

易寒 #19 · July 24, 2015 作者

#18楼 @feixueyinjiayue 不是.用robotium的话是不需要修改源码,但是你可以修改源码,将robotium脚本中打开jacoco的操作,放到源码中就可以。

#19楼 @doctorq 我也想直接安装插桩后的apk,手动测试生成代码覆盖率文件,然后分析。您说的修改源码: robotium脚本中打开jacoco的操作,放到源码中, 能详细指点下吗?

易寒 #21 · December 10, 2015 作者

#20楼 @cjf 我有好几篇文章讲这个的,仔细看看

楼主大大,我就问一个弱鸡的问题哈,jacoco两个属性中的reportsDir是否设置为被测设备硬盘上的路径呢。而且我不管怎么设置reportsDir貌似都没什么反应。。不知道为毛。

易寒 #23 · January 29, 2016 作者

#22楼 @m13890 reportsDir是设置本地报告的存放位置,和被测设备没关系

#23楼 @doctorq 额,其实我是想用Robotium自动化执行用例,但是被测与执行脚本是同一签名单独两个APP。执行是在真机是完成的。现在不确定在真机上执行是否能得到jacoco代码覆盖率的报告,是否可通过reportDir让输出报告存放到执行设备上。或者是否有其他办法来得到coverage.ec文件。我是gradle菜鸟。。。

易寒 #25 · January 29, 2016 作者

#24楼 @m13890 再说一遍,reportDir和设备上的路径没有关系,是pc端的路径,可以在真机上,且和是不是robotium没有关系。

#25楼 @doctorq T T大哥对我们这种菜鸟有点耐心嘛。。我就是因为执行脚本时是不连接PC的,所以不知道报告到底会去哪。

易寒 #27 · January 29, 2016 作者

#26楼 @m13890 在手机端存的jacoco的ec文件,ec文件复制到本地,然后执行生成报告

#27楼 @doctorq 好的。。谢谢。。我开始就是这么想的。但是测了一下没找到这个文件。等会再试试

@DoctorQ 楼主大大,按照你这个操作下来,确实可以生成。但是我用同样的方法,在自己公司的app中。运行instrumentation,有下图的错误。说找不到类java.lang.ClassNotFoundException: org.jacoco.agent.rt.RT。
gradle版本未3.3,应该自带了jacoco插件,不知道为什么会报错。自己直接引用jacocoagent.jar文件也没有用。

麻烦帮忙看看,谢谢了。

请教下如果app有多个模块,只想统计其中一个模块的覆盖率如何做呢?
把文件和配置放在子模块里,怎么触发监听呢

一个应用里面肯定会有多个activity,我在demo的时候,发现跳转到其他activity就会引起程序崩溃,请问楼主这个问题怎么解决?
还有一个问题,app退出就会算一次统计,手工测试过程中有很多需要退出app的场景,这个问题有什么解决办法呢?感谢楼主大大的解答

需要 Sign In 后方可回复, 如果你还没有账号请点击这里 Sign Up