测试基础 Android 手工测试的代码覆盖率

易寒 · 2015年05月07日 · 最后由 回复于 2019年04月23日 · 8711 次阅读
本帖已被设为精华帖!

昨天我们探究了 UI 自动化中代码覆盖率,今天我们来看看如何实现功能测试人员测试过程中,代码覆盖率的计算

先纠个错

昨天我们使用 jacoco,在 build.gradle 加入了很多代码:

apply plugin: 'jacoco'
....
jacoco{
    toolVersion = "0.7.1.201405082137"
}
android {
    buildTypes {
            debug {
                testCoverageEnabled = true

            }

今天验证了一下,上面的代码只需要一个testCoverageEnabled = true 其他都不需要添加,就可以使用 jacoco,我们来实验一下:

这里写图片描述

试验证明,gradle 为 android 提供的插件默认使用的是 jacoco,所以你只需要将 testCoverageEnabled 设置为 true,一切就都搞定了。

回归正题

现在我们来回到正题,就是如何在手工测试的过程中收集代码覆盖率呢?首先我们试试 Monkey 跟我说的,还是用 Instrumentation 的 case 启动应用,然后在 case 中 sleep 一段时间,在这段时间中,我们手动去点击控件,来看能否收集到代码覆盖率。

添加一个 activity

为了方便观察,我在主 activity 中添加一个 button,点击 button 可以跳转到 GoActivity。

MainActivity:

package com.wuba.wuxian.android_0504;

import android.content.Intent;
import android.support.v7.app.ActionBarActivity;
import android.os.Bundle;
import android.view.Menu;
import android.view.MenuItem;
import android.view.View;
import android.widget.Button;


public class MainActivity extends ActionBarActivity {

    private Button goButton = null;

    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_main);
        goButton = (Button) findViewById(R.id.button);
        goButton.setOnClickListener(new View.OnClickListener() {
                                        @Override
                                        public void onClick(View v) {
                                                Intent intent = new Intent(MainActivity.this,GoActivity.class);
                                                startActivity(intent);
                                        }
                                    }
        );
    }


    @Override
    public boolean onCreateOptionsMenu(Menu menu) {
        // Inflate the menu; this adds items to the action bar if it is present.
        getMenuInflater().inflate(R.menu.menu_main, menu);
        return true;
    }

    @Override
    public boolean onOptionsItemSelected(MenuItem item) {
        // Handle action bar item clicks here. The action bar will
        // automatically handle clicks on the Home/Up button, so long
        // as you specify a parent activity in AndroidManifest.xml.
        int id = item.getItemId();

        //noinspection SimplifiableIfStatement
        if (id == R.id.action_settings) {
            return true;
        }

        return super.onOptionsItemSelected(item);
    }
}

GoActivity:

package com.wuba.wuxian.android_0504;

import android.support.v7.app.ActionBarActivity;
import android.os.Bundle;
import android.view.Menu;
import android.view.MenuItem;


public class GoActivity extends ActionBarActivity {

    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_go);
    }


    @Override
    public boolean onCreateOptionsMenu(Menu menu) {
        // Inflate the menu; this adds items to the action bar if it is present.
        getMenuInflater().inflate(R.menu.menu_go, menu);
        return true;
    }

    @Override
    public boolean onOptionsItemSelected(MenuItem item) {
        // Handle action bar item clicks here. The action bar will
        // automatically handle clicks on the Home/Up button, so long
        // as you specify a parent activity in AndroidManifest.xml.
        int id = item.getItemId();

        //noinspection SimplifiableIfStatement
        if (id == R.id.action_settings) {
            return true;
        }

        return super.onOptionsItemSelected(item);
    }
}

AndroidManifest.xml:

<?xml version="1.0" encoding="utf-8"?>
<manifest xmlns:android="http://schemas.android.com/apk/res/android"
    package="com.wuba.wuxian.android_0504" >

    <!-- To access Google+ APIs: -->
    <uses-permission android:name="android.permission.INTERNET" />
    <!--
 To retrieve OAuth 2.0 tokens or invalidate tokens to disconnect a user. This disconnect
     option is required to comply with the Google+ Sign-In developer policies
    -->
    <uses-permission android:name="android.permission.USE_CREDENTIALS" /> <!-- To retrieve the account name (email) as part of sign-in: -->
    <uses-permission android:name="android.permission.GET_ACCOUNTS" /> <!-- To auto-complete the email text field in the login form with the user's emails -->
    <uses-permission android:name="android.permission.READ_PROFILE" />
    <uses-permission android:name="android.permission.READ_CONTACTS" />

    <application
        android:allowBackup="true"
        android:icon="@mipmap/ic_launcher"
        android:label="@string/app_name"
        android:theme="@style/AppTheme" >
        <activity
            android:name=".MainActivity"
            android:label="@string/app_name" >
            <intent-filter>
                <action android:name="android.intent.action.MAIN" />

                <category android:name="android.intent.category.LAUNCHER" />
            </intent-filter>
        </activity>

        <meta-data
            android:name="com.google.android.gms.version"
            android:value="@integer/google_play_services_version" />

        <activity
            android:name=".GoActivity"
            android:label="@string/title_activity_go" >
        </activity>
    </application>

</manifest>

我们的 Robotium 脚本如下:

public class MainActivityTest extends ActivityInstrumentationTestCase2 {
    private Solo solo;

    public MainActivityTest() {
        super(MainActivity.class);
    }

    @Override
    public void setUp() throws Exception {
        super.setUp();
        solo = new Solo(getInstrumentation(), getActivity());
    }

    public void testStartClose() throws Exception {
        Thread.sleep(1000 * 10);
    }


//    public void testClickButton(){
//        solo.clickOnText("Go");
//    }

    @Override
    public void tearDown() throws Exception {
        solo.finishOpenedActivities();
    }

}

获取代码覆盖率

我们分两种方式获取代码覆盖率

只执行 UI 脚本

这里写图片描述
结果可以看出来,我们的代码覆盖率是 42%

执行脚本后,手动点击一下 Go 按钮

我们的代码覆盖率达到了 74%,jacoco 也统计了我手工点击的操作。

总结

虽然实现了统计手工测试的代码覆盖率,但是还是得依赖 instrumentation,而且时间还有限制,我们在 Robotium 的 case 中设置的时间是 10s,意思 10s 内的操作会统计,结束以后就不统计了。这就无法自由的测试了。所以这种方法还是不好,明天试试思寒大哥的方法。

(先去踢球了)

如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
共收到 31 条回复 时间 点赞

你再补充下我之后说的那种方式嘛~

Monkey 的点子太牛了。
这样是不是能看出来每个手工测试人员,是否真正的跑了 case,而不是在偷懒.............

#2 楼 @recluse6860 手动用例的覆盖率不错

都后天了

#5 楼 @lihuazhang 还没研究出来

快大后天了。。。。

#7 楼 @monkey 什么时候研究完,什么时候才会出。鄙视你们

mark 一下,有空研究一下,手工 case 统计覆盖率很有用

之前也弄过通过 Emma 来实现 Android 黑盒手工测试的代码覆盖率, 分享一下:http://www.dzwanli.com.cn/?p=996

易寒 #11 · 2015年05月25日 Author

#10 楼 @chichimei 使用 maven 和 ant 的话,可以使用 emma,gradle 时代,google 抛弃了 emma,选择了 jacoco

#11 楼 @doctorq 这样,还停留在 emma,看来要赶紧学习起来

易寒 #13 · 2015年05月25日 Author

#12 楼 @chichimei 看公司是选择 gradle 还是 maven。

Android studio 上没没搜索到 jacoco 插件啊

按你那中配置报错

易寒 #16 · 2015年06月03日 Author

#15 楼 @idoit007 把你的 build.gradle 配置文件发出来看看

#15 楼 @idoit007 添加头像,发 gradle 配置

这个必须用 robotium 写的 case 吗?直接安装生成的 apk,点击没有用的,对吗?

易寒 #19 · 2015年07月24日 Author

#18 楼 @feixueyinjiayue 不是.用 robotium 的话是不需要修改源码,但是你可以修改源码,将 robotium 脚本中打开 jacoco 的操作,放到源码中就可以。

#19 楼 @doctorq 我也想直接安装插桩后的 apk,手动测试生成代码覆盖率文件,然后分析。您说的修改源码: robotium 脚本中打开 jacoco 的操作,放到源码中, 能详细指点下吗?

易寒 #21 · 2015年12月10日 Author

#20 楼 @cjf 我有好几篇文章讲这个的,仔细看看

楼主大大,我就问一个弱鸡的问题哈,jacoco 两个属性中的 reportsDir 是否设置为被测设备硬盘上的路径呢。而且我不管怎么设置 reportsDir 貌似都没什么反应。。不知道为毛。

易寒 #23 · 2016年01月29日 Author

#22 楼 @m13890 reportsDir 是设置本地报告的存放位置,和被测设备没关系

#23 楼 @doctorq 额,其实我是想用 Robotium 自动化执行用例,但是被测与执行脚本是同一签名单独两个 APP。执行是在真机是完成的。现在不确定在真机上执行是否能得到 jacoco 代码覆盖率的报告,是否可通过 reportDir 让输出报告存放到执行设备上。或者是否有其他办法来得到 coverage.ec 文件。我是 gradle 菜鸟。。。

易寒 #25 · 2016年01月29日 Author

#24 楼 @m13890 再说一遍,reportDir 和设备上的路径没有关系,是 pc 端的路径,可以在真机上,且和是不是 robotium 没有关系。

#25 楼 @doctorq T T 大哥对我们这种菜鸟有点耐心嘛。。我就是因为执行脚本时是不连接 PC 的,所以不知道报告到底会去哪。

易寒 #27 · 2016年01月29日 Author

#26 楼 @m13890 在手机端存的 jacoco 的 ec 文件,ec 文件复制到本地,然后执行生成报告

#27 楼 @doctorq 好的。。谢谢。。我开始就是这么想的。但是测了一下没找到这个文件。等会再试试

@DoctorQ 楼主大大,按照你这个操作下来,确实可以生成。但是我用同样的方法,在自己公司的 app 中。运行 instrumentation,有下图的错误。说找不到类 java.lang.ClassNotFoundException: org.jacoco.agent.rt.RT。
gradle 版本未 3.3,应该自带了 jacoco 插件,不知道为什么会报错。自己直接引用 jacocoagent.jar 文件也没有用。

麻烦帮忙看看,谢谢了。

请教下如果 app 有多个模块,只想统计其中一个模块的覆盖率如何做呢?
把文件和配置放在子模块里,怎么触发监听呢

一个应用里面肯定会有多个 activity,我在 demo 的时候,发现跳转到其他 activity 就会引起程序崩溃,请问楼主这个问题怎么解决?
还有一个问题,app 退出就会算一次统计,手工测试过程中有很多需要退出 app 的场景,这个问题有什么解决办法呢?感谢楼主大大的解答

需要 登录 后方可回复, 如果你还没有账号请点击这里 注册