新手区 pycharm 创建 scrapy 项目

膨化先生 · 2018年02月22日 · 985 次阅读

1 .新建工程

scrapy startproject JMeterVersion

2 .pycharm 打开项目,选择 open

3 .新建爬虫 spider.py

import scrapy
class JMeterVersionSpider(scrapy.Spider):
    name = 'JMeterVersion'   #爬虫的名字
    start_urls = ['http://jmeter.apache.org/changes_history.html']  #要爬取的网站列表

    def parse(self, response):
        print(response.body)    #打印网站的静态代码(此种方法无法获取由js动态生成的数据)

4 .scrapy.cfg 同目录下新建 begin.py

from scrapy import cmdline
cmdline.execute("scrapy crawl JMeterVersion".split())

5 .配置 pycharm
点击 Run->Edit Configurations

新建一个运行的 python 模块

1.Name:改成 spider;
2.script:选择刚才新建的那个 begin.py 文件;
3.Working Direciton:改成自己的工作目录

6 .点击运行

如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
暂无回复。
需要 登录 后方可回复, 如果你还没有账号请点击这里 注册