iOS 测试 iOS (Object-C) 非单元测试状态下代码覆盖率获取尝鲜

陈恒捷 · December 10, 2016 · Last by 一无所知的小白 replied at November 12, 2018 · 5533 hits
本帖已被设为精华帖!

最近开始要调研精准测试,代码覆盖率是其中一个十分重要的部分,因此参考网上的流程来试做一下。过程中发现由于 Xcode 8 有一些变化,网上的相关文章都没有对应更新,所以发文记录下。

目标

在操作应用过程中,通过一个特定操作可获取到从应用启动到此操作前所有操作的覆盖率数据。

需要用到的工具

  • XcodeCoverage
  • Xcode 8.1(为了支持 iOS 10.1,亲测可在最新的 iOS 10.1.1 中成功获得覆盖率)

配置步骤

项目加入 XcodeCoverage

只用过 pod 的方式,也建议使用这个方式安装,比较快捷。

  1. 在 Podfile 中加入 pod 'XcodeCoverage', '~>1.0'
  2. 运行 pod install
  3. 在需要获取覆盖率的 target 中加入 Run Script 的步骤,内容为 Pods/XcodeCoverage/exportenv.sh
  • 官方最新的 1.3 貌似不兼容 Xcode 8 ,需要做一些调整。
  1. 下载最新的官方代码:git clone https://github.com/jonreid/XcodeCoverage.git
  2. 拷贝官方的 lcov-1.12/bin 内所有文件到项目所在的 Pod/XcodeCoverage/lcov-1.12/bin 中,同名文件直接覆盖

项目配置添加获取代码覆盖率的相关配置

一般情况下,我们只在 Debug 包中获取代码覆盖率,因此只改动 Debug 的配置。需要改动的地方有两个,以下直接贴图:

项目源码中添加生成覆盖率的相关代码

AppDelegate.m 中添加如下代码(代码参考自 vigossjjj/CodeCoverage4iOS 项目):

- (void)applicationDidEnterBackground:(UIApplication *)application
{
...
#if !TARGET_IPHONE_SIMULATOR
NSArray *paths = NSSearchPathForDirectoriesInDomains(NSDocumentDirectory, NSUserDomainMask, YES);
NSString *documentsDirectory = [paths objectAtIndex:0];
setenv("GCOV_PREFIX", [documentsDirectory cStringUsingEncoding:NSUTF8StringEncoding], 1);
setenv("GCOV_PREFIX_STRIP", "13", 1);
#endif

extern void __gcov_flush(void);
__gcov_flush();
...
}

这部分代码触发点是点击 home 键应用进入后台时。其中 #if !TARGET_IPHONE_SIMULATOR 中包含的部分会改写环境变量,让生成的覆盖率文件( .gcda 文件)放在应用的沙箱中。否则默认会保存在对应 mac 电脑的路径,但由于应用没有写入 mac 电脑路径的权限,因而一直无法生成。

获取覆盖率

获取模拟器运行覆盖率

  1. 在 xcode 中 build ,然后 run
  2. 在应用中做出操作
  3. 点击 home 键,应用进入后台,同时应用自动生成对应覆盖率文件
  4. 进入 项目目录/Pod/XcodeCoverage,运行命令 ./getcov --show ,即可自动生成覆盖率报告。

获取真机运行覆盖率

  1. 在 xcode 中 build ,然后 run
  2. 在应用中做出操作
  3. 点击 home 键,应用进入后台,同时应用自动生成对应覆盖率文件
  4. 打开 Xcode->window->Devices ,选择运行应用的真机
  5. 在 Installed Apps 部分选择运行的应用,然后点击底部的齿轮按钮,选择 'Download Container'
  6. 把生成的 xcappdata 文件保存下来,然后在 finder 中打开
  7. 对 xcappdata 文件右键->显示包内容(show package content),然后打开 AppData/Documents/arm64/,拷贝里面的所有 .gcda 文件
  8. 进入 项目目录/Pod/XcodeCoverage,打开 env.sh,找到 OBJECT_FILE_DIR_normalCURRENT_ARCH
  9. 打开应用编辑结果存储的目录,对应的路径为 <OBJECT_FILE_DIR_normal>/<CURRENT_ARCH>,其中 OBJECT_FILE_DIR_normalCURRENT_ARCH 是上一步找到的值。(大于小于号不需要保留)
  10. 把第7步的 .gcda 文件全部拷贝到第9步打开的目录
  11. 回到 项目目录/Pod/XcodeCoverage ,运行命令 ./getcov --show ,即可自动生成覆盖率报告。

报告样式:

主要的坑就在真机运行和模拟器运行时目录的区别。 真机运行时,真机上应用无法写入 mac 上的路径,因此 .gcda 文件只能放在手机沙箱,另外取出。模拟器无此问题(模拟器有写入 mac 路径的权限)

后续

覆盖率拿到了,但过程仍然不够自动化,还需要解决覆盖率数据自动回传、通过按钮触发 dump 等问题才能达到最基本的要求。后续再往这个方面继续探究。

参考文档

https://github.com/jonreid/XcodeCoverage/blob/master/README.md

https://github.com/jonreid/XcodeCoverage/issues/48

https://github.com/vigossjjj/CodeCoverage4iOS/blob/master/README.md

如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
最佳回复

@chenhengjie123 @season_fly
请问一下,按照步骤一步一步来的,但是在build run 时,__grov_flush()出现link 错误,请问是否知道什么原因
使用模拟器,Xcode版本9.4.1,XcodeCoverage 1.3.1

Showing All Issues
"__gcov_flush()", referenced from:
-[AppDelegate applicationDidEnterBackground:] in AppDelegate.o
ld: symbol(s) not found for architecture x86_64
clang: error: linker command failed with exit code 1 (use -v to see invocation)

多谢答疑

@Snail5354 @chenhengjie123 已经解决了。恒捷的示例里,是在AppDelegate.m 导入运行__gcov_flush(),但是我们的项目是混编的,是 AppDelegate.mm,是按照C++来编译的, 开始没有注意到这个差距。
在方法外部导入后可以编译成功。

……
extern "C"{
void __gcov_flush(void);
}
- (void)applicationDidEnterBackground:(UIApplication *)application
{
……
#if !TARGET_IPHONE_SIMULATOR
NSArray *paths = NSSearchPathForDirectoriesInDomains(NSDocumentDirectory, NSUserDomainMask, YES);
NSString *documentsDirectory = [paths objectAtIndex:0];
setenv("GCOV_PREFIX", [documentsDirectory cStringUsingEncoding:NSUTF8StringEncoding], 1);
setenv("GCOV_PREFIX_STRIP", "13", 1);
#endif
__gcov_flush();
}
共收到 37 条回复 时间 点赞

过程不够自动化

#1楼 @Lihuazhang 所以我只是写尝鲜,后面做成自动化还有不少东西要做。

思寒_seveniruby 将本帖设为了精华贴 11 Dec 20:28

其实需要做一个sdk, 把覆盖率的数据直接发送到其他的服务器. apple的gcov方案少了一些关键的功能, 不是一个完备的gcov.
xcode把覆盖率的收集和展示做到一块了. 但是没提供自动化的工具. 才导致覆盖率统计很麻烦. 现在的方案不越狱的确难自动化的.

#4楼 @seveniruby 是的,长期需要往 sdk 方向走。但必须越狱的话难度有点高,毕竟越狱设备相对来说都比较有限。

后面先具体调研下 gcov 的覆盖率生成相关功能,看是否满足需要。


我按着文档配置好之后,启动app,然后control+shift+h将app 切到后台,然后去生产文档,一直失败,请问是什么原因呢 @chenhengjie123

#6楼 @aya 看下你的那个 Users/jiasun..../Objects-normal/x86_64 目录有没有 .gcda 文件,也看下 xcode 里面的日志有没有报错?

这个东西 做出报告只是第一步 后面的才是更重要的

试了下发现收集到的覆盖率数据和xcode里面看到差别很大,这个会是什么原因

Mo 回复

能详细说一下不?

这个功能刚好和我的实现方式一致:
第一步:我采用linux作为后台,部署了xcodecoverage,同时会将编译主机的原文件代码gcno拷贝过来,这个可以在jenkis里面写shell实现;
第二步:用嵌码的方式来收集和发送每个版本每台手机的覆盖率信息,既然用到了pod ,何不继续加几行代码: 在pod里面实现一个接口,用于gcovflush(), 和找到覆盖率文件发送;同时由于是debug ,我们的开发在调试面板上实现了接口,所以你可以在调试面板上加开关实现是否需要采集和发送覆盖率的开关;做好不要在4g下发送的防护,否则,大家知道的.....。
第三步linux后台用python flask(你也可以添加java http接口)实现一个简单的web服务器,接受文件,和展示index.html这个覆盖率信息;

这样你通过xcodecoverage 就能自动统计每台手机当天完成的覆盖率,同时也能合并产生当前版本的总的覆盖率;

其中第二步最坑,由于文件太多,如果用http zip传输,会崩溃;放弃
如果实现ftp客户段传输,发现传不进文件,可能是使用iphone的原因;
所以只能启用后台线程一个一个的发送,你可以尝试gcd 异步机制 ,启动多个线程共同完成工作;
当然 gcovflush() 只能在主线程刷新,刷新期间会较慢,此时会阻塞ui ,不过这点时间对于测试人员来说还是值得的;
过段时间会在github上上传这些代码,不过最近还在解决从前端web自动配置增量信息,而手机只发送那些增量相关的覆盖率信息到linux后台收集和展现的过程,如果能解决第二步就能完美解决,因为采用ftp传输,可以先在linux上以文件的形式保存传输过来的增量模块,手机pod接口主动下载该文件做参考传输,这样你就能和git diff这些版本比对工具完美结合,成为一个覆盖率自动化工程了,希望能帮到大家;

陈恒捷 回复

用真机跑单元测试,按照上述方法获得的统计结果只有2.x%,我对比了一下xcode运行以后的结果,发现同一个文件在xcode里面显示已经覆盖,但是在结果中是未覆盖状态,是否是在哪个细节上配置出了问题

xww 回复

赞!
由于项目原因,最近主要在做 java 的覆盖率,iOS没进一步研究。期待你发文详细分享下你的实践~

Mo 回复

能给下图片对比下具体哪里不同不?

xww 回复

我也在看你说的实现方式,我想请教pod里面实现的接口,是上传gcda文件么?还是什么?你在linux部署xcodecoverage是为了执行./getcov --show吗?

xww 回复

我在linux上部署了XcodeCoverage为什么不能执行呢?一直报错Out of memory!
Reading tracefile Coverage.info
lcov: ERROR: no valid records found in tracefile Coverage.info
Reading tracefile Coverage.info
lcov: ERROR: no valid records found in tracefile Coverage.info
cat: /.xcodecoverageignore: No such file or directory
Reading tracefile Coverage.info
lcov: ERROR: no valid records found in tracefile Coverage.info
Reading data file Coverage.info
genhtml: ERROR: no valid records found in tracefile Coverage.info

陈恒捷 回复

season_fly一直没有回复我,我请教你一下,部署到linux上,也把打包过程中的gcno文件复制过去了,可是执行报错,你有思路么?

从日志里只能看出 Coverage.info 这个文件有问题,没有有效的记录。因为不知道这个文件是怎么来的,内容是啥,也无法追查下去。

建议把你详细的部署步骤、操作步骤(包括你觉得和报错有关的所有细节)和出错日志都发出来?

不好意思 各位,最近忙其他东西,也没时间来回复一些问题, 我统一答复一下把:
首先纠正我上面的回帖的两个问题:

  1. 部署在linux上
  2. gcov阻塞ui 这段时间其实还在完善这个工程: 1.服务器是用来接收手机gcda文件的,这个暂时只能部署到mac机器,而且是装了xcode的 ,因为发文章的时候,我其实还是思路阶段,没有实践到那步,但现在看来是需要xcode 才能打开ios的.h和.m文件,很大一个坑,不过迁移到mac机器上也很快; 2.gcov阻塞问题被我使用了gcd的信号量机制解决,现在对于测试人员来说,基本没有感觉,但我们工程3000多个源文件需要统计,所以如果使用zip压缩,理论上更好,但超过了afnetworking 这个网络库的最大文件限制;所以还是决定用一个一 个的发送方式 3.期间考虑使用并发来发送,结果cpu 直接飚升到200%,太费经了,最后就单线程后台异步的方式处理,3000多个文件20s内也能发完 ,对ui 没影响,我觉得现在是比较满意的方式 接下来阐述一下流程:
  3. ios 增加一个 pods,这个pods就两个文件,一个.h和一个.m 。文件的内容就是找到document下的gcda 文件,然后调用gcov_flush 把缓存gcda刷新到磁盘,第三步,使用gcd的方式发送这些文件到你的web服务器
  4. web服务器很简单,接受这些文件,然后根据传过来的参数:版本号,udid等,在服务器端创建目录和保存文件 3》后台写一个命令行工具(我暂时是用shell做的),找到相应的源代码和gcno文件,和gcda 聚合在一个目录,然后用lcov来生成报告就可; 由于现在我们打包是用的开发的jenkis服务器机器,它不准我们在上面部署我们的web 服务器和gcov和lcov,所以我使用了ssh主动推送了它上面的编译器信息(.ipa,gcno,源代码)到我的mac机器上,我遇到了一个比较难的问题,就是这样产生的gcno文件,它里面的源代码路径会指定为jenkis上的目录,你需要在本地创建一个一抹一样的目录,来保存源代码信息;这样把上面的流程就完全自动化串了起来, 我本以为可以交差了,但我们领导还想做行的差异性覆盖率信息,我这几天忙着搞git diff的东西 怎么和lcov结合,被整的死去活来,但如果解决了上述几个步骤 ,基本上也能达到一键自动化生成覆盖率信息的目标了;

尴尬了

undef: __Z12__gcov_flushv
Undefined symbols for architecture x86_64:
"__gcov_flush()", referenced from:
-[TestAppDelegate applicationDidEnterBackground:] in TestAppDelegate.o
ld: symbol(s) not found for architecture x86_64
clang: error: linker command failed with exit code 1 (use -v to see invocation)
Showing first 200 warnings only

我真机没有这个文件夹AppData/Documents/arm64/,知道为什么吗?

asdasd 回复

那有可能是你的覆盖率没有收集到。你把详细步骤和日志发下?

楼主大大,按照你的方式做了,但是AppData/Documents/下就是没arm64这个文件夹

@chenhengjie123 @season_fly
请问一下,按照步骤一步一步来的,但是在build run 时,__grov_flush()出现link 错误,请问是否知道什么原因
使用模拟器,Xcode版本9.4.1,XcodeCoverage 1.3.1

Showing All Issues
"__gcov_flush()", referenced from:
-[AppDelegate applicationDidEnterBackground:] in AppDelegate.o
ld: symbol(s) not found for architecture x86_64
clang: error: linker command failed with exit code 1 (use -v to see invocation)

多谢答疑

剪烛 回复

symbol(s) not found for architecture x86_64

看起来是模拟器(x86_64)不支持。你用真机试试?

陈恒捷 回复

使用真机iPhone6p 11.3.1 Xcode版本9.4.1,XcodeCoverage 1.3.1 也是同样的错误。
(不使用这段代码,是可以正常编译运行的)
能否问一个小白一点的问题,看这个代码,是运行C的方法__gcov_flush()是么?那这个方法是位于XcodeCoverage的哪个文件里边呢?从XcodeCoverage的项目里边看没有看见任何相关的代码,是否是另外的项目CodeCoverage4iOS提供的方法呢?

剪烛 回复

这个方法是 gcc 编译器提供的,不是 XcodeCoverage 的。

真机使用 arm ,理论上不应该会有 x86_64 的错误,能不能把详细日志发上来看看?

32Floor has been deleted

找到一篇文章,里面有提到类似的情况,你参考看下?
https://www.jianshu.com/p/3a62abf85984

我也遇到跟你一样的问题 请问你解决了吗
Undefined symbols for architecture arm64:
"__gcov_flush()", referenced from:
-[AppDelegate applicationDidEnterBackground:] in AppDelegate.o
ld: symbol(s) not found for architecture arm64
clang: error: linker command failed with exit code 1 (use -v to see invocation)

@Snail5354 @chenhengjie123 那个帖子仍然没有解决我的问题。但是另外新建一个demo,却是可以跑通的。目前正在找开发人员协助

@Snail5354 @chenhengjie123 已经解决了。恒捷的示例里,是在AppDelegate.m 导入运行__gcov_flush(),但是我们的项目是混编的,是 AppDelegate.mm,是按照C++来编译的, 开始没有注意到这个差距。
在方法外部导入后可以编译成功。

……
extern "C"{
void __gcov_flush(void);
}
- (void)applicationDidEnterBackground:(UIApplication *)application
{
……
#if !TARGET_IPHONE_SIMULATOR
NSArray *paths = NSSearchPathForDirectoriesInDomains(NSDocumentDirectory, NSUserDomainMask, YES);
NSString *documentsDirectory = [paths objectAtIndex:0];
setenv("GCOV_PREFIX", [documentsDirectory cStringUsingEncoding:NSUTF8StringEncoding], 1);
setenv("GCOV_PREFIX_STRIP", "13", 1);
#endif
__gcov_flush();
}
剪烛 回复

赞!可以单独开篇帖子说下这个问题了

陈恒捷 回复

Q_Q 感觉不是太需要,遇到类似问题通过搜索应该自然能找到这里来。

@heyzhuliye hi,大大!之前你提到生成报告只是第一步,后面还需要做一些什么事呢,能方便介绍一下不? thx!

剪烛 回复

赞赞赞,很厉害,我跟你是一样的情况,按照你的说明也没有报错啦
不过,我现在没有生成gcda文件,还在检查

需要 Sign In 后方可回复, 如果你还没有账号请点击这里 Sign Up