Jmeter_ForEach 控制器实现网页爬虫

一直以来，爬虫似乎都是写代码去实现的，今天像大家介绍一下 Jmeter 如何实现一个网页爬虫！

Jmeter 的爬虫原理其实很简单，就是对网页提交一个请求，然后把返回的所有 href 提取出来，利用 ForEach 控制器去实现 url 遍历。这样解释是不是很清晰？下面就来简单介绍一下如何操作。

首先我们需要对网页提交一个请求，就拿腾讯新闻网举例子吧！我们像腾讯新闻网发起一个请求，观察一下返回值可以发现中间有很多 href 标签 + 文字标题的 url

我们现在需要把这些 url 提取出来，利用强大的正则表达式！记得匹配数字填-1，意思就是把所有合适的 url 都取出来

a target="_blank" class="linkto" href="http:// *(.*l)"

加一个 debug 查看一下是否真的取出来了

又或者我们在结果里面直接利用正则匹配一下，可以看到很多网页链接都被取出来了

接下来我们需要动用到 ForEach 控制器了，利用这个控制器对所有取出来的 url 进行遍历触发。记得在控制器里面填入变量名称，也就是刚刚正则表达式里面的变量名

接下来在 ForEach 控制器下面再添加一个 http 请求，利用它去执行请求触发

下面我们可以观察结果了，见证奇迹的时候到了。观察结果我们发现所有匹配的 url 都被触发了！

是不是很简单？去实际操作一下吧！