Python 求助:[爬虫抓包内容双击可以打开,但是脚本中无法获取响应内容

追寻 · 2020年03月17日 · 最后由 天恩 回复于 2020年03月19日 · 1798 次阅读

通过抓包得到的如图 1

,在抓包栏中直接双击这个文件,可以在浏览器中打开一个窗口并显示图二(网页内的内容是目标数据)
,如果单独的将图一中的请求网址 输入网页得到的是图三
使用代码获取的结果 和图三一致,如下图

求助:这种情况通过 requests 是否能获取(selenium content = driver.page_source 可以获取,但是不打算使用这种方式)下图中的内容

PS:
1、代码中的 header 还有 cookie 都是从抓包内容中复制出来,data 是复制的抓包中的有效载荷内容
2、背景:网页账户密码登录,未登出,所以脚本中 只写获取部分,此时的 cookie 未失效

最佳回复

可能需要自己求构造一些请求参数。看了你的截图,估计应该就是请求的时候参数缺失,导致的报错。
如果是一般的反爬,可以尝试在请求这个页面的时候 加入 Referer。
(以上是自己在写爬虫的时候遇到的这种问题时候会采取的手段)

共收到 1 条回复 时间 点赞
追寻 关闭了讨论 03月17日 09:28
追寻 重新开启了讨论 03月17日 13:42

可能需要自己求构造一些请求参数。看了你的截图,估计应该就是请求的时候参数缺失,导致的报错。
如果是一般的反爬,可以尝试在请求这个页面的时候 加入 Referer。
(以上是自己在写爬虫的时候遇到的这种问题时候会采取的手段)

追寻 关闭了讨论 03月20日 16:27
需要 登录 后方可回复, 如果你还没有账号请点击这里 注册