通用技术大家有什么扫描全站 404 链接的工具吗？

lyyyyyyy · January 07, 2020 · Last by 天恩 replied at January 09, 2020 · 4001 hits

如题，最近开始公司又这个需求，在晚上也找了一些在线工具，但是免费版扫描的数量远远不够，不知道大家有没有什么开源的工具能解决这个问题？

共收到 10 条回复时间点赞

落恒 #1 · January 07, 2020

说个思路：使用爬虫，python+requests，
爬取整个站点所有的链接，根据返回 code 判断是否为 404

天恩 #2 · January 07, 2020

1 楼的思路很赞。
我们公司用的是这个：Xenu

lyyyyyyy #3 · January 07, 2020 Author

对

这个我有想过，但是我觉得挺复杂的，不过有机会想尝试一下

lyyyyyyy #4 · January 07, 2020 Author

对

这个是免费的吗= =，谢谢推荐，我去看看

Ouroboros #5 · January 07, 2020

Xenu 推荐

米阳MeYoung #6 · January 07, 2020

Xenu 卫星人图标很外星人

天恩 #7 · January 07, 2020

对

我也不清楚是不是免费的，就直接百度搜到就下载了的

马可菠菠仔 #8 · January 07, 2020

是自家公司的站点么，有源码就不爬网页了呗。源码 + 正则找出链接，然后 request

lyyyyyyy #9 · January 08, 2020 Author

对

我们的 staging 环境，有密码保护，请问大佬知道怎么添加 cookie 吗，点击 allow cookie 之后在哪里去添加 cookie 呢？

天恩 #10 · January 09, 2020

对

知识盲区了，看了好多帖子，都没有找到合适的方法。
可能有用的就是：https://wenku.baidu.com/view/e1786d47b307e87101f69659.html

需要 Sign In 后方可回复, 如果你还没有账号请点击这里 Sign Up。

通用技术 大家有什么扫描全站 404 链接的工具吗？