爬虫脚本执行一段时间以后,后续就会报错。
手动访问天眼查页面,发现页面提示确认是否是机器人。请大神指导怎么能躲过反爬取检测。

问题:
目前不太清楚天眼查是根据 IP,还是根据 cookie 来做的反爬取限制。

尝试过的操作:
1、延长每次请求的时间,设置为 3s 中爬取一次,结果中途也断了。
2、将请求的时间设置为随机时间在 0~5s 之内,结果也中途断了。

-----------------------------------------分割线--------2019.02.08 更新 ---------------------【代理池报错问题】-------------------------------------

r = s.get(city_url, headers=my_heads, proxies=params_file.proxies)

增加了 IP 地址池,IP 地址数据如下(购买的 IP 数据):
proxies = {
"https":"https://112.87.71.162:9999",
"https":"https://125.123.139.163:9999",
"https":"https://116.209.55.229:9999",
"https":"https://104.248.99.101:3128",
"https":"https://116.209.52.240:9999",
"https":"https://116.192.171.51:31742",
"https":"https://113.121.146.70:9999",
"https": "https://112.85.129.166:9999",
"https": "https://1.10.188.100:59164",
}

结果页面有报错:接口返回值为 403

目前陷入了停滞状态,我尝试过去掉地址池,页面访问正常
所以有点尴尬,去掉地址池,爬一段时间,就要被封。用了地址池,程序跑不起来😂 😂 😂 😂 😂

hreader 信息:

-----------------------------------------分割线--------2019.03.04 更新 --------------【代理 IP 以后,依然被封】--------------------------------------------
1、解决上面的代理池报错问题
使用以下命令获取当前运行请求的 IP 信息,发现一直是一个固定 IP 在运行,所以会被封掉。

print(r.raw._connection.sock.getpeername()[0])

修改方案:
每次 requests 请求前初始化一个 proxy

# 设置proxy,每次从ip_pool里面随机取ip 
IP = ip_pool[random.randint(0, len(ip_pool)-1)]
print(IP)
proxies = {"https": IP, }
# 调用proxy
r = s.get(city_url, headers=my_heads, proxies=proxies, stream=True, timeout=10)

2、 解决 IP 代理可用性不高的问题。
由于免费的 IP 速度都比较慢,并且需要自己手动去爬,可用性贼低。所以最终还是买了收费版的 IP。
从使用体验来看,芝麻代理<西瓜代理<蘑菇代理。但是以上的 IP 可用性都应该不到 90% 吧(个人感觉),所以也会出现爬一段时间以后,由于连接有问题,导致程序暂定。
所以中间应该加一段异常处理和重试,另外不可用的 IP 需要从 IP 池剔除。

#异常处理:
        while True:
            # time.sleep(1)
            # 设置proxy
            IP = ip_pool[random.randint(0, len(ip_pool)-1)]
            print(IP)
            proxies = {"https": IP, }

            # 访问
            try:
                r = s.get(city_url, headers=my_heads, proxies=proxies, stream=True, timeout=10)
                # r = s.get(city_url, headers = my_heads, proxies = proxies, timeout = 10)
                print('r.status_code', r.status_code)
                # 具体爬虫部分太长,pass
                break
            except Exception as e:
                # 当前运行失败,说明IP出了问题;1、删除失效IP。 2、判断IP池的大小,如果小于20,自动添加IP
                ip_pool.remove(IP)
                if len(ip_pool)<20:
                                        # get_https_ip.get_IP() 封装了代理网站获取IP的API
                    new_ip_pool = get_https_ip.get_IP()
                    for data in new_ip_pool:
                        print('添加一次',data)
                        ip_pool.append(data)

3、新的问题。
使用 IP 代理之后,发现爬一段时间,账号依然会被封。不知道什么原因?
是因为一直使用一个 cookie 吗?这么搞的话,是不是得使用多个账号交替去爬?


↙↙↙阅读原文可查看相关链接,并与作者交流