缘由

因为收到反馈说我们的 app 页面刷新慢，初步分析呢是因为运营的小伙伴上传了较大的图片导致的，然后就引发了一堆优化：

• ERP 上传限制 ==> 开发
• 文件服务器针对大图片自动压缩 ==> 运维
• app 流量统计 ==> 测试

怎么做

既然问题来了，那么怎么做呢？
以前做过 app 性能获取的工具，但是不理想，兼容性差：

• android 5.0 的手机上没问题的方法可能到了 6.0 的版本不适用
• 小米手机上成功的，可能在华为手机上不行

开启一个代理服务器，通过抓包过滤出被测设备产生的流量，进行统计相对靠谱的多

如何设置一个代理服务器

windows, linux, mac 都可以设置代理服务器，我选择的是 centos，
由于公司的服务目前是基于 http 协议的，所以需要搭建一个 http 的代理服务，我选择了 nginx

安装 nginx

yum install nginx

修改 nginx 配置

# 访问nginx安装目录
cd /etc/nginx
# 保存一份默认的配置文件
cp nginx.conf nginx.origin.conf
# 编辑配置文件，并增加http正向代理
vi nginx.conf

# 在server下面增加resolver，在location中增加proxy_pass与proxy_set_header
    server {
        listen       80 default_server;
        listen       [::]:80 default_server;
        server_name  _;
        root         /usr/share/nginx/html;

        resolver 8.8.8.8;
        resolver_timeout 5s;

        # Load configuration files for the default server block.
        include /etc/nginx/default.d/*.conf;

        location / {
          proxy_pass $scheme://$host$request_uri;
          proxy_set_header Host $http_host;
        }

        error_page 404 /404.html;
            location = /40x.html {
        }

        error_page 500 502 503 504 /50x.html;
            location = /50x.html {
        }
    }

修改好配置文件后，可以测试一下，并启动 nginx

# 测试
nginx -t
# 启动
nginx
# 重启启动nginx
nginx -s reload
# 查看nginx访问日志，这个文件位置是在nginx.conf里面配的
tail -f /var/log/nginx/access.log

代理配置

这里我在 win7 的机器上打开浏览器，修改代理设置：centos 机器 ip，端口是上面配的 80 端口

修改代理后，成功访问 163.com
注意了，我只代理了 http 协议，https 不能正常访问是正常的

抓包工具的选择

wireshark
tcpdump
我希望最好是一个命令行工具，而不是 GUI 操作的工具，
tcpdump 和 tshark 大部分场景基本一致，最后选择了 wireshark 自带的 tshark

安装 wireshark

yum install wireshark
yum install wireshark-gnome

查看帮助

tshark -h

查看 IP 地址

ifconfig

查询本机支持抓包的硬设

tshark -D

通过网卡

tshark -i 1
tshark -i enp2s0

抓包并输出到文件

tshark -i enp2s0 -w packets.pcap
tshark -i enp2s0 -w packets.pcap -c10  #只抓10个，抓满10即自动停止

查看 packets.pcap 文件中的内容

tshark -r packets.pcap
tshark -r packets.pcap -c5 #读取前5个

通过-V 参数查看具体信息

tshark -r p.pcap -V
tshark -r p.pcap -V -c1  #结合之前的-c，可以查看第一个包的具体内容

根据 mac 地址，ip 地址，端口等条件抓包

The following values are available when using this option:
m MAC address resolution
n Network address resolution
t Transport layer (port name) resolution
N Use external resolvers
C Concurrent DNS lookups

tshark -i enp2s0 -n

抓包过滤：-f

tshark -ni 5 -w pack.pcap -f "tcp port 9980"

显示过滤：-Y

tshark -r pack.pcap -Y "tcp.dstport == 9980"

显示时间格式

tshark -r p.pcap -t ad

查看统计帮助

tshark -z help

http,tree Displays statistics related to HTTP requests and responses

tshark 自带的统计方法

tshark -r pack.pcap -qz conv,tcp
================================================================================
TCP Conversations
Filter:<No Filter>
                                               |       <-      | |       ->      | |     Total     |    Relative    |   Duration   |
                                               | Frames  Bytes | | Frames  Bytes | | Frames  Bytes |      Start     |              |
192.168.1.189:57399   <-> 192.168.1.171:9980      1332   2008853     341     22849    1673   2031702     0.196315903         0.4847
192.168.1.189:57400   <-> 192.168.1.171:9980       376    565847     126      8770     502    574617     0.196795638         0.1422
192.168.1.189:57397   <-> 192.168.1.171:9980       231    340320      78      7273     309    347593     0.000000000         0.4854
192.168.1.189:57402   <-> 192.168.1.171:9980        86    123830      37      3437     123    127267     0.197292575         0.2728
192.168.1.189:57403   <-> 192.168.1.171:9980        59     85650      25      2711      84     88361     0.197415689         0.0599
192.168.1.189:57401   <-> 192.168.1.171:9980        50     71782      24      2660      74     74442     0.197162662         0.0567
================================================================================

上面按 tcp 协议统计，将 Total 下面的 Bytes 那一列求和，可得总计使用的流量信息
下面按 ip 统计

tshark -r pack.pcap -qz conv,ip
================================================================================
IPv4 Conversations
Filter:<No Filter>
                                               |       <-      | |       ->      | |     Total     |    Relative    |   Duration   |
                                               | Frames  Bytes | | Frames  Bytes | | Frames  Bytes |      Start     |              |
192.168.1.171        <-> 192.168.1.189             631     47700    2134   3196282    2765   3243982     0.000000000         0.6811
================================================================================

服务端展示

已将 tshark 服务端抓包，解析结果完成，
这里是基于 tshark 原生的分析汇总结果，还需要更多的分析和处理，得出我们需要关注的数据

我的一点分析

由于我们的问题点主要是防止线上有大图片（文件大小），所以 tshark 自带的结果分析不符合我们的目标
我们的期望是得出哪些响应的大小超过了阀值（比如 0.5M），那么可能是需要关注的重点
原来 tshark 是通过 frame（帧）来记录所有的请求及响应的

tshark -r pack.pcap -Y "http.request_in != 0" -T fields -e "frame.number" -e "http.request_in" -e "http.response_in" -e "http.request_number" -e "http.response_number" -e "http.response.code" -e "http.host.uri"
Running as user "root" and group "root". This could be dangerous.
22  4               200 
121 23              200 
190 149             200 
397 151             200 

这里的 22 是 response 的 frame number，4 是请求的 frame number，这样一个请求就和一个响应对应起来了，响应帧的长度即响应消耗流量（frame.len）

更多玩法

过滤 sql 语句

tshark -i 5 -n -f 'tcp dst port 3306' -T fields -e mysql.query
Running as user "root" and group "root". This could be dangerous.
Capturing on 'enp2s0'


SELECT project_name as projectName FROM tb_project

根据 mysql 默认的 3306 端口过滤 sql 语句

根据被测机器 ip 以及目标域名进行过滤

tshark -i enp2s0 -t ad -w 2018.pcap -f "ip src host 被测机器ip(例：192.168.1.189)"
tshark -r 2018.pcap -R 'http.host==目标域名(例：www.xxx.com)' -qz conv,ip

拓展

• 将本功能放到服务端，可在线配置，获取结果
• 数据存库
  • 同品对比
  • 竞品对比
  • 可视化展示

Reference

《Practical Packet Analysis, 3rd Edition》
tshark 官网地址
wireshark 过滤器
wireshark display fields => 常用的：frame, http, tcp