通用技术大家有什么扫描全站 404 链接的工具吗？

lyyyyyyy · 2020年01月07日 · 最后由天恩回复于 2020年01月09日 · 3345 次阅读

如题，最近开始公司又这个需求，在晚上也找了一些在线工具，但是免费版扫描的数量远远不够，不知道大家有没有什么开源的工具能解决这个问题？

共收到 10 条回复时间点赞

落恒 #1 · 2020年01月07日

说个思路：使用爬虫，python+requests，
爬取整个站点所有的链接，根据返回 code 判断是否为 404

天恩 #2 · 2020年01月07日

1 楼的思路很赞。
我们公司用的是这个：Xenu

lyyyyyyy #8 · 2020年01月07日 Author

对

这个我有想过，但是我觉得挺复杂的，不过有机会想尝试一下

lyyyyyyy #4 · 2020年01月07日 Author

对

这个是免费的吗= =，谢谢推荐，我去看看

Ouroboros #5 · 2020年01月07日

Xenu 推荐

米阳MeYoung #6 · 2020年01月07日

Xenu 卫星人图标很外星人

天恩 #7 · 2020年01月07日

对

我也不清楚是不是免费的，就直接百度搜到就下载了的

马可菠菠仔 #8 · 2020年01月07日

是自家公司的站点么，有源码就不爬网页了呗。源码 + 正则找出链接，然后 request

lyyyyyyy #1 · 2020年01月08日 Author

对

我们的 staging 环境，有密码保护，请问大佬知道怎么添加 cookie 吗，点击 allow cookie 之后在哪里去添加 cookie 呢？

天恩 #1 · 2020年01月09日

对

知识盲区了，看了好多帖子，都没有找到合适的方法。
可能有用的就是：https://wenku.baidu.com/view/e1786d47b307e87101f69659.html

需要登录后方可回复, 如果你还没有账号请点击这里注册。

通用技术 大家有什么扫描全站 404 链接的工具吗？