jb的测试之旅 听说安卓微信 7.0 不能抓 https?

jb · 2019年01月12日 · 最后由 王琦 回复于 2019年02月13日 · 4099 次阅读
本帖已被设为精华帖!

前言

最近公司有个小程序要提测,研发提测,体验,发现有个疑似bug的东西,想着抓包看下是不是接口数据的问题,结果问题出现了,按照以前的常规操作,打开fiddler,设置ip代理(https证书已经安装了),结果一看,fiddler居然这样显示:
image.png-46kB

再看看手机,居然没数据?:
image.png-325.6kB

一脸疑问号,一开始以为是自己问题,折腾半天,不对,之前都是没问题的话,同样的环境,同样的设备,有毒?
image.png-25.9kB

等下,之前的没问题,最近微信好像更新了7.0,那是不是这个导致的?

怎么解决?

一开始遇到这问题,不知道怎么处理,满脑子想着就是安装低版本微信,但是用过安卓系统的同学都知道,4.X以后系统不允许降级安装,如果要安装低版本微信,意味着要删除微信再安装,这样会延伸出另外的问题,删除微信后我的聊天记录跟照片视频怎么办?

问题本身就是如何完整备份微信数据,咨询朋友圈,有不同大佬提供了方式:

  1. 微信-设置-聊天-聊天记录里面有数据迁移的功能

之前功能之前没使用过,但是从描述上看,感觉只能迁移聊天记录,那些图片跟小视频怎么办?

  1. 钛备份数据

这个是另外的同学说的,之前没了解过,上网查了下,这玩意号称是目前为最强悍的程序和系统备份工具,需 ROOT 权限运行;

这就尴尬啦,需要root,小米华为vivo这种不好搞root,怎么办?

那就看看这个钛备份的原理是啥,其实钛备份的原理很简单,就是把整个目录的内容都保存下来,当然包括data里面的数据,这就不难理解为什么要root权限了,当然里面要用到的技术很多,自行网上查询吧;

既然这条路,那就找台测试机安装旧版本试试吧;

安卓微信旧版本

试过好几个网址,最后选择的是wdj,那就挑了个6.7.3来试试了;
image.png-61.2kB

安装,配置手机抓包环境,试了下;
image.png-63.9kB

你看吧,都说旧版本可以的,你们不信,打脸了吧?
image.png-17kB

别人中毒了吗?

这问题肯定不止jb一个人遇到的,直接Google了,微信小程序无法抓包,果不出其然,大家都中毒了;
image.png-41.8kB
image.png-45kB

很开心,原因我不是一个人,认真看下该问题,咦,原来都是因为微信7.0导致的,跟我一样啊啊啊;

那再用微信7.0无法抓包https为关键字,又发现新的东西了;
image.png-133.5kB
image.png-23.4kB

这两张图,认真看到,发现两个有意思的点:

第一点:

  • 安卓系统 7.0 以下版本,不管微信任意版本,都会信任系统提供的证书
  • 安卓系统 7.0 以上版本,微信 7.0 以下版本,微信会信任系统提供的证书
  • 安卓系统 7.0 以上版本,微信 7.0 以上版本,微信只信任它自己配置的证书列表

第二点:

  • 苹果机可以用

看到这里,莫名有点感动;
image.png-558.4kB

看到这里,第二种解决方案也出现了,用苹果就行了;

然后顺延上面的思路,安卓7.0,让jb想起以前的事;

之前我司的一个产品,在新版本也会出现无法抓取http的情况,出现的情形跟上面的一致,直接看当时提交的内容吧;
image.png-101kB

由此看到,的确只有安卓才有问题,而且还是7.0开始引入的;

那一起来看看,这问题根源是什么吧;

问题根源

Google一下,很多类似的帖子,问题的根源是:

在Android7.0及以上的系统中,每个应用可以定义自己的可信CA集集。

默认情况下,应用只会信任系统预装的CA证书,而不会信任用户安装的CA证书

而回想我们抓包的过程,无论是fiddler还是Charles,想抓https,都必须手机安装对应的证书,通过fiddler/Charles安装的证书恰恰正属于用户安装的CA证书,因此会被视作不安全的证书。

解决方案1:修改APP配置文件

如上代码提交的那样,直接修改APP的android:networkSecurityConfig属性,前提是可以获取到APP的源码。

在AndroidManifest.xml中

<?xml version="1.0" encoding="utf-8"?>
<manifest ... >
<application android:networkSecurityConfig="@xml/network_security_config"
... >
...
</application>
</manifest>

配置文件:res/xml/network_security_config.xml

<network-security-config>
<base-config cleartextTrafficPermitted="true">
<trust-anchors>
<certificates src="system" overridePins="true" /> <!--信任系统证书-->
<certificates src="user" overridePins="true" /> <!--信任用户证书-->
</trust-anchors>
</base-config>
</network-security-config>

然后重新打包抓包就可以了;

这种做法,除了在源码上修改,还有其他法子吗?

肯定的,如下:

先脱壳,也可以直接下载wdj的包,然后用apktool反编译apktool,就能看到包内容了,修改AndroidManifest.xml,同时新增network-security-config,修改完以后重新签名打包就可以;

解决方案2:将证书安装到系统证书中(需要root)

如果没有源码权限,怎么办?那就把证书安装到系统证书里面,但是这个操作需要root权限

系统证书的目录是:/system/etc/security/cacerts/

每个证书的命名规则为:<Certificate_Hash>.<Number>

Certificate_Hash表示证书文件的hash值,Number是为了防止证书文件的hash值一致而增加的后缀;

证书的hash值可以由命令计算出来,在终端输入openssl x509 -subject_hash_old -in <Certificate_File>,其中Certificate_File为证书路径,将证书重命名为hash.0放入系统证书目录,之后你就可以正常抓包了。

image.png-271kB
image.png-371.2kB

注意事项

小米手机自带root为不完整root,需要进行完整root(即解锁system)。

方法如下:

安装adb工具

brew install Caskroom/cask/android-platform-tools             
#没有安装homebrew的先安装homebrew

root

adb devices # 测试adb是否安装成功,成功了会出现设备的hash
adb root
adb disable-verity # 禁用系统验证

注明,本方法jb未尝试过,因为手机没有root权限,方法来源于网上 ;

还有吗?

当然,假如你的手机没有root,而且也不是自己的APP,那怎么办?

别笑,这种情况很多,比如你想爬别人APP的数据,就会遇到这种情况了;
image.png-1.9kB

package capture

直接贴ka的介绍,这是一款无root抓包的工具;

产品特点:

  • 抓包并记录
  • 通过中间人技术抓取ssl
  • 不需要root
  • 易于使用
  • 直接显示文本或显示16进制

界面很简单,如下图,下面显示的记录,右上有1的表示只做一个应用,点击会让你选择应用,右边无1的就是全部都抓;
image.png-410kB

如果不是https的能马上看到内容;
image.png-914.8kB

那试试除微信外的APP,这里会延伸出另外的问题,就算别的APP不对证书做检验,给你抓到又如何?反正返回的数据是加密的
image.png-323.4kB

选择微信,试试,发现还是不行,依然没有数据,就跟不信任证书一样;

所以,这个不行;

whistle

whistle是基于Node实现的跨平台抓包调试代理工具,但是仔细看了下原理,也是通过信任证书实现的,因此还是无法解决上面的问题;
image.png-101.8kB

AndroidHttpCapture

AndroidHttpCapture是在testerhome有人提及到的一款软件,号称是Android版的"Fiddler";

官网有demo,下载下来后,看了下,功能是挺全的,但是,怎么感觉有点山寨的感觉?而且好像不能抓某个APP或者所有,对比上面的有点逊色的感觉?弃坑~
image.png-1115.6kB
image.png-654.5kB

tcpdump + Wireshark

tcpdump 是一款强大的网络抓包工具,运行在 linux 平台上。

熟悉 tcpdump 的使用能够帮助你分析、调试网络数据。

如果想在android上使用tcpdump,就需要root权限,但是jb手机没root权限,这块就跳过,理论上是可行的;

tcpdump是有个文件的,把手机连接到电脑(要有adb环境哈)

adb root
adb remount
adb push /wherever/you/put/tcpdump /system/xbin/tcpdump
adb shell chmod 6755 /system/xbin/tcpdump

然后再执行adb shell tcpdump -p -vv -s 0 -w /sdcard/capture.pcap,在手机上进行操作,操作完毕后,Ctrl+C退出即可;

然后把生成的capture.pcap用Wireshark打开;

wireshark的界面是这样的:
image.png-407.5kB

这里不详细说明了,因为tcpdump+wireshark后面会单独写一篇文章;

反正,这两个组合是个神器,理论上来说,这种情况是能抓到数据的;

VirtualApp + HttpCanary

HttpCanary是一款强大的Android端抓包和注入工具,同样不需要root,软件本身支持安装证书,如果只是单独使用,依然跟其他APP一样;

这里还要介绍另外的一个产品,VirtualApp是一个开源的Android App虚拟化引擎,允许在其中创建虚拟空间,并在这个虚拟空间中运行其他应用。

简单的说,就是一个容器,可以进行双开处理,市面上很多双开的软件,原理就是这个;
image.png-136.5kB

点击后,就是双开了,然后再打开HttpCanary进行转包,比如点击微信的小程序,啧啧啧,发现啥了?
image.png-322.5kB

如果服务端没有加密的话,终于可以了,有点心累啊;
image.png-20.2kB

最后,把两个apk的下载方式都贴一下:

HttpCanary
链接:https://pan.baidu.com/s/1ViRJBZrUecdNU8DuegCphQ
提取码:9jzs


VirtualApp
链接:https://pan.baidu.com/s/1k7i87xlY61z8is_foVPmQw
提取码:kh1y

VirtualApp到底是什么

上面的例子证实VirtualApp + HttpCanary是可以抓到https的包,那这玩意到底是什么啊?为什么就能做到?

要介绍VirtualApp,要先介绍Java的反射机制

Java的反射机制

举个例子,通过反射修改private的成员变量值,调用private方法;

public class Person {
private String mName = "Hello";

private void sayHi() {
// dont care
}
}

如上的类,有一个私有成员变量mName,和一个私有方法sayHi()。讲道理,在代码中是无法访问到他们的。但反射能做到。

Person person = new Person();
// person.mName = "world!"; // impossible
// person.sayHi(); // no way

Field fieldName = Person.class.getDeclaredField("mName");
fieldName.setAccessible(true);
fieldName.set(person, "world!");

Method methodSayHi = Person.class.getDeclaredMethod("getDeclaredMethod");
methodSayHi.setAccessible(true);
methodSayHi.invoke(person);

简单来说,反射就是可以做到调用私有变量、方法的效果,还是不懂?

在来个通俗的例子:

对于男生,去嫖娼:

妈咪是class类,小姐是私有方法或成员,因为扫黄的关系,现在的小姐都是私有的,但是呢,你还是可以通过妈咪来找到小姐,这里面,通过妈咪的方式就是反射啦~

对于女生,买包包:

很多名牌店里面有一条潜规则,有点瑕疵的产品,内部人员是可以低价购买的,但是一般人是买不到的,那如果你有闺蜜在里面工作或者有熟人的情况下,你就可以通过这个渠道来买到这些瑕疵产品,这这个能方式就是反射;

反正就是不能光明正大做的,然后有个代理,可以这样做,你通过代理去做,就行啦;

这懂了吧?
image.png-6.6kB

hook

hook是什么?hook就是在应用运行过程中,注入外部的代码,从而改变原有的执行流程。

因此,应用中必须存在注入代码的窗口。

例如,使用了热修复技术的应用,就是在启动时加载并应用外部的补丁代码,这类应用便是本身自带了注入代码的窗口。

但是,对于逆向分析或安全研究而言,所面对的通常是一个黑盒App,我们并不知道其是否存在注入代码的窗口,或者存在但无法被利用。

为此,我们必须要额外地为应用添加注入代码的窗口。

Xposed便是这样做的:它修改了系统库,对所有应用在启动时添加了注入窗口。但是,这就需要具有root权限。

那么,如何在不具有root权限的情况下实现呢?这就需要用到VirtualApp了。

VirtualApp的工作原理,简而言之,它通过代理常用系统服务的方式,在系统服务层与应用层之间添加了一层虚拟空间,从而允许在不安装应用的情况下运行应用。特别地,VirtualApp本身并不需要root权限。

VirtualApp之所以能够实现虚拟空间,是因为其对许多系统服务进行了代理和替换,而这部分是核心;

如果对原理感兴趣的同学,可以点击此处了解更多;

试试看

启动VirtualApp后,界面是这样的。
image.png-178.8kB

显示的是已经通过VirtualApp安装的APK,可以直接从SD卡或者系统中已有的APK中选择安装。安装后直接点开图标,就能跟安装在外部的应用一样打开APP。

简单尝试了一下,知乎和微博都能正常工作,并且运行速度跟外部安装的差异不大。而且还可以安装多个相同的应用,实现多开的效果。

看下数据

首先,来看一下它在开启APP后的进程信息:

u0_a200   22932 494   1034396 84008 SyS_epoll_ 0000000000 S io.virtualapp
u0_a200 22955 494 1064388 70408 SyS_epoll_ 0000000000 S io.virtualapp:x
u0_a200 22983 494 1530416 266948 0000000000 R com.zhihu.android
u0_a200 23320 494 1410736 214680 SyS_epoll_ 0000000000 S com.sina.weibo
u0_a200 23387 494 1174928 76848 SyS_epoll_ 0000000000 S com.sina.weibo.image
u0_a200 23415 494 1186076 81648 SyS_epoll_ 0000000000 S com.sina.weibo:remote
u0_a200 23455 494 1173888 76572 SyS_epoll_ 0000000000 S com.sina.weibo.imageservant
u0_a200 24028 494 1182780 74408 SyS_epoll_ 0000000000 S com.sina.weibo.servant
u0_a200 24425 494 1027636 66116 SyS_epoll_ 0000000000 S com.taobao.sophix_android
u0_a200 24492 494 1334412 174708 SyS_epoll_ 0000000000 S com.zhihu.android

可以看到,所有被ViralApp打开的应用,都和VirtalApp属于同一个uid:u0_a200

其中,VirtualApp本身有两个进程:io.virtualappio.virtualapp:x

io.virtualapp 就是可见的交互界面,同时也负责APK包的管理和安装;
io.virtualapp:x 作为一个单独的服务进程,虚拟了一些系统服务;

因此,VirtualApp在运行时,包含以下三部分:

  • Main Process,进程名io.virtualapp,主要负责VirtualApp用户界面及应用管理;
  • Server Process,进程名io.virtualapp:x,主要负责系统服务的代理,是通过Content Provider启动的;
  • VApp Process,进程名io.virtualapp:p[0-…],作为将来运行client应用的进程,当client应用启动后,其进程名会更新为client应用的包名

client应用是通过VirtualApp安装的应用;
host应用是VirtualApp;

以这里安装的微博为例,查看一下它的进程的内存空间,可以看到相关路径全都被映射到了/data/data/io.virtualapp/virtual下面,

... ...
b6d0f000-b7017000 r--p 00000000 fd:00 410335 /data/data/io.virtualapp/virtual/data/user/0/com.sina.weibo/Plugin/com.weibo.app.movie/dalvik-cache/base-1.dex
b7017000-b71d4000 r-xp 00308000 fd:00 410335 /data/data/io.virtualapp/virtual/data/user/0/com.sina.weibo/Plugin/com.weibo.app.movie/dalvik-cache/base-1.dex
... ...
bb745000-bb831000 r--p 00000000 fd:00 410247 /data/data/io.virtualapp/virtual/data/user/0/com.sina.weibo/code_cache/secondary-dexes/composer1312fd1cbada0e5074c9f9961b16aefb.dex
bb831000-bb8f0000 r-xp 000ec000 fd:00 410247 /data/data/io.virtualapp/virtual/data/user/0/com.sina.weibo/code_cache/secondary-dexes/composer1312fd1cbada0e5074c9f9961b16aefb.dex
... ...
bf448000-bf978000 r-xp 00000000 fd:00 410129 /data/data/io.virtualapp/virtual/data/app/com.sina.weibo/lib/libweiboffmpeg.so
bf978000-bf979000 ---p 00000000 00:00 0
bf979000-bf9ab000 r--p 00530000 fd:00 410129 /data/data/io.virtualapp/virtual/data/app/com.sina.weibo/lib/libweiboffmpeg.so
bf9ab000-bf9af000 rw-p 00562000 fd:00 410129 /data/data/io.virtualapp/virtual/data/app/com.sina.weibo/lib/libweiboffmpeg.so
... ...
c335a000-c33a9000 r-xp 00000000 fd:00 410127 /data/data/io.virtualapp/virtual/data/app/com.sina.weibo/lib/libweiboplayer.so
c33aa000-c33ad000 r--p 0004f000 fd:00 410127 /data/data/io.virtualapp/virtual/data/app/com.sina.weibo/lib/libweiboplayer.so
c33ad000-c33ae000 rw-p 00052000 fd:00 410127 /data/data/io.virtualapp/virtual/data/app/com.sina.weibo/lib/libweiboplayer.so
... ...

可见,这里面对路径做过了重新映射;

这块就到此为止吧,主要是想简单介绍下VirtualApp,知道是怎么一回事;

服务器响应加密

上面的例子,就可以看到,现在越来越多的APP会对返回的结果进行加密处理,那这个是怎样的一个流程?

  • 客户端正常发起请求
  • 服务端进行业务处理,对response加密
  • 客户端对response解密

这样做的好处是什么?

对Response加密之后,即使第三方抓取到了我们的数据,也无法解密,保证了我们的数据安全;

从开发的角度,需要注意几点:

  • 加密算法要可逆算法,因为需要加解密,如AES、RSA;
  • 秘钥需要安全;
  • 可以整个response加密,也可以某个部分加密;

那这种怎么搞?
image.png-16.4kB

这里说的没法搞,是指没现成的工具直接处理,如果非要这么搞,那就是反编译,因为想破解别人加密的算法,必须知道用什么方式加密,如果连加密方式都不知道,怎么解密?

还有个例子:
image.png-8.1kB

这样算加密吗?肯定算啦,但是这种加密是不是不可以处理?

并不是,直接网上找点代码试试看,理论上是可破,一般来说,MD5和RSA是网络传输中最常用的两个算法,网上也有大量的网页提供在线解密;

小结

至此,本文结束,本文的主要收获是VirtualApp + HttpCanary可以抓到https的数据,但同时的,如果是服务器返回乱码,这种情况暂时没办法解决;

本文提及到的抓包工具有以下几款:

  • fiddler,一般用于windows;
  • charles,一般用于Mac;
  • package capture、VirtualApp + HttpCanary、AndroidHttpCapture,这几款都是安卓的;
  • whistle,pc的,基于node;
  • tcpdump + Wireshark,Linux的,一般用于安卓;
  • Stream、Thor是用于iOS手机抓包;

希望大家都会上面场景的抓包工具都有所了解,留个印象,方式需要的时候再翻出来使用;

最后,谢谢大家~
image.png-29.3kB

共收到 38 条回复 时间 点赞

我喜欢你举的通俗的例子😀

思寒_seveniruby 将本帖设为了精华贴 01月12日 17:53

干货满满~

收藏了

jb讲的真jb好呀!

大神!鉴定完毕~

这jb玩意讲的太好了

用vivo 8.1的机子 virtualApp 打不开微信 😭

jb牛逼

贼jb牛逼

给JB大佬倒茶☕ ,ios 微信7.0.2,微信小程序页不能抓包哦

jb #12 · 2019年01月15日 作者
DeX 回复

😂 一不小心暴露老司机的感觉

jb #13 · 2019年01月15日 作者
Niklike 回复

😁 纯属来飙车的,哪里有干货了

jb #14 · 2019年01月15日 作者
古雨辰 回复

谢谢支持~😏

jb #15 · 2019年01月15日 作者
quxin 回复

敢问,后面的jb是啥意思😸

jb #16 · 2019年01月15日 作者
SinlangPeng 回复

不不不,打杂的小弟,谢谢支持~🌹

jb #17 · 2019年01月15日 作者
kaka 回复

怎么自己看Jb看多了,也会觉得容易误解~

jb #18 · 2019年01月15日 作者
豆包 回复

市面上有很多双开的应用,试试看行不

jb #19 · 2019年01月15日 作者
fhvch 回复

都是打杂的,都是打杂的

jb #20 · 2019年01月15日 作者
尚酷米 回复

一堆评论都是Jb,感觉是自己黑自己了?

jb #21 · 2019年01月15日 作者
qa 回复

啊,苹果也不可以?不过别怕,听说微信还在测试中,后续会把这个恢复的,详情请看issue:https://github.com/avwo/whistle/issues/251

例子很生动😂

学习了,贼J8牛~

最后那个小米不是完全root,困扰了我的疑惑!我以为第二种方法没用呢,原来是小米自带root问题,谢谢楼主!

对于男生,去嫖娼:

妈咪是class类,小姐是私有方法或成员,因为扫黄的关系,现在的小姐都是私有的,但是呢,你还是可以通过妈咪来找到小姐,这里面,通过妈咪的方式就是反射啦~
对于女生,买包包:

很多名牌店里面有一条潜规则,有点瑕疵的产品,内部人员是可以低价购买的,但是一般人是买不到的,那如果你有闺蜜在里面工作或者有熟人的情况下,你就可以通过这个渠道来买到这些瑕疵产品,这这个能方式就是反射;

哈哈哈哈哈哈哈。。。。笑泪了。。

大佬!😂 😂 😂

能抓到就行,降低版本可以在各大应用市场找历史版本,数据。。。都是用小号测试的啦,哪里有什么数据。。
或者iOS+Charles咯~

jb #28 · 2019年01月18日 作者
猫星人 回复

大佬你怕是没试过没测试机,没小号的情况了。。小公司,都是私人机顶上的,小号也没几个,都要自己买卡注册~

我用了你说的virtualapp+httpcannary的方法。为什么一抓包app就上不了网了啊,不抓包就正常

我已经报警了!警察抓你是共有方法吧😂

豆包 回复

华为MT8 安卓8.0也是virtualApp打不开微信,可以打开别的app,你那解决了吗

jb #32 · 2019年01月25日 作者
张全蛋 回复

大佬被捣乱😸

jb #33 · 2019年01月25日 作者
lucylucyi 回复

是所有的APP都不行吗?这边用的是小米note3,是正常的;听上去就像是代理的问题

因为微信7.0升级了targetAPI,这个问题会在以后的其他APP下频繁出现,因为targetAPI迟早是要升的,赞楼主提供的各种方案

Google Play 将要求新应用(自 2018 年 8 月 1 日起)和应用更新(自 2018 年 11 月 1 日起)将目标 API 级别至少设为 26 (Android 8.0)。

看的真jb的爽

大佬真JB太粗……鲁了,很佩服大佬的动手能力文字功底,估计平时没少遭团队里妹纸的白(青)眼吧,这车开的666……

😂 真的是通“俗”易懂,大佬。。。

😅建议改下例子类比……

赞!之前遇到了相同的问题,这是看到到最全的解决方案👍

需要 登录 后方可回复, 如果你还没有账号请点击这里 注册