背景：为了提高网站性能，开发对页面请求做了优化；有时候同样的请求会请求多次，领导让把所有页面的所有请求抓出来，做个对比。
疑问点：
1、怎么确定一个网站有多少页面
2、用什么法子抓取每个页面下的请求，包括地址、请求头、请求体、大小、时间等要素
3、网页较多，自动化实现
各位大佬有什么法子