网站建设 培训网站排名搜索
- 安装scrapy
pip install scrapy
- 创建scrapy项目，需要在终端里创建
注意：项目的名字开头不能是数字，也不能包含中文
scrapy startproject 项目名称
示例：
scrapy startproject scra_baidu_36
创建好后的文件
3. 创建爬虫文件：
要在spider文件里面创建爬虫文件
先在终端中cd到spider文件里
创建爬虫文件
scrapy genspider 爬虫文件名 要爬取的网页
示例：
scrapy genspider baidu http://www.baiud.com
创建的爬虫文件内容：
name 爬虫的名字，用于运行爬虫的时候使用的值
allowed_domains 允许访问的域名
start_urls 起始url地址，指的是第一次要访问的域名
parse 是执行了start_urls之后执行的方法，方法中的response就是返回的那个对象
- 运行爬虫文件
写一个print()
在终端输入
scrapy crawl 爬虫的名字
示例：
scrapy crawl baidu
但是运行完并没有给我们返回任何数据
这是因为有robots协议
解决办法：只需要在settings.py文件里把 ROBOTSTXT_OBEY = True 给注释掉就可以了(或者把True改成False也可以)
然后再重新运行一遍就可以获取到数据了
