当前位置： 首页 > news >正文

日本风格网站设计商品推广与营销的方式

news 2025/7/27 18:01:10
日本风格网站设计,商品推广与营销的方式,阿里云的网站建设好不好,哪个小说网站可以做封面目录 Scrapy基础入门篇 Scrapy下载安装 Scrapy爬虫工作流程： Scrapy 框架由五大组件构成 创建scrapy爬虫项目 scrapy项目创建，编写步骤 步骤一： 创建项目：在对应项目目录下创建scrapy项目。使用 scrapy startproject 项目名…

目录

Scrapy基础入门篇

Scrapy下载安装

Scrapy爬虫工作流程：

Scrapy 框架由五大组件构成

创建scrapy爬虫项目

scrapy项目创建，编写步骤

步骤一： 创建项目：在对应项目目录下创建scrapy项目。使用 scrapy startproject 项目名（比如D:\python_spider_learning\spide_project\scrapy_project\learning>在这个文件夹下创建）

步骤二：进入项目：cd 项目名称。或者在pycharme中选中文件夹Terminal

步骤三：创建爬虫：命令创建爬虫：scrapy genspider 爬虫名称 域名（scrapy genspider xiao 4399.com）(gen:生成)

步骤四：可能需要修改start_url,修改成需要抓取的页面

步骤五：对数据进行解析。在spider里面的parse(response)方法中进行解析

步骤六：在Pipeline中完成数据的存储工作。

步骤七：设置settings.py文件将Pipeline进行生效设置

步骤八：运行项目：scrapy 命令：scrapy crawl 爬虫名（ scrapy crawl xiao），运行后，会打印出日志。

数据解析

在spider里面的parse(response)方法中进行解析scrapy中xpath和css（）可以混合用

用xpath和css混合解析

在Pipeline中完成数据的存储工作

设置settings.py文件将Pipeline进行生效设置

运行项目

Scrapy基础入门篇


Scrapy 是一个基于 Twisted 实现的异步处理爬虫框架，该框架使用纯 Python 语言编写。Scrapy 框架应用广泛，常用于数据采集、网络监测，以及自动化测试等。

提示：Twisted 是一个基于事件驱动的网络引擎框架，同样采用 Python 实现。

本文主要讲述Scrapy爬虫工作流程以及创建scrapy爬虫项目。

Scrapy下载安装


Scrapy 支持常见的主流平台，比如 Linux、Mac、Windows 等，因此你可以很方便的安装它。本节以 Windows 系统为例，

python -m pip install Scrapy


**pycharme：**直接安装Scrapy。（这种安装方式有时会报错，特别是在创建虚拟环境时，有可能安装成功也找不到scrapy，这时需要将虚拟环境下创建的\venv\Scripts添加到环境变量中。可能运行会很慢）

由于 Scrapy 需要许多依赖项，因此安装时间较长，大家请耐心等待，关于其他平台的安装方法，可参考官方文档《Scrapy安装指南》。

Scrapy爬虫工作流程：


Scrapy 框架由五大组件构成


如下所示：

在整个执行过程中，还涉及到两个 middlewares 中间件，分别是下载器中间件（Downloader Middlewares）和蜘蛛中间件（Spider Middlewares），它们分别承担着不同的作用：


蜘蛛中间件 (Spider Middlewares)    位于引擎与爬虫文件之间，它主要用来修改响应对象的属性
Scrapy 工作流程示意图如下所示
（不包含中间件）

上述示意图描述如下，当一个爬虫项目启动后，Scrapy 框架会进行以下工作：


1.引擎找到spider，在spider中找到起始url（第一个待爬取的 URL）。
2.url被引擎包装成request对象。
3.引擎将reques对象传递给调度器。
4.调度器（Scheduler）通过引擎将response对象传递给Downloader。
5.Downloader将得到的response对象通过引擎送回给spider。
6.spider解析：解析返回的response对象，通过xpath、json、re、css等。
7.spider将数据通过引擎传递给pipeline，存储数据。若有新的url（比如下一页等）：重复2-7步骤。

创建scrapy爬虫项目


Scrapy 框架提供了一些常用的命令用来创建项目、查看配置信息，以及运行爬虫程序。常用指令如下所示：


scrapy项目创建，编写步骤


步骤一： 创建项目：在对应项目目录下创建scrapy项目。使用 scrapy startproject 项目名（比如D:\python_spider_learning\spide_project\scrapy_project\learning>在这个文件夹下创建）


1.注意：直接在pycharm里安装scrapy后，scrapy startproject 项目名会报错，这是可以把对应虚拟环境的scripts添加到环境变量中，如：D:\python_spider_learning\spide_project\venv\Scripts
2.分析创建文件里的每一个文件含义：

   

        a.图片中第一个game就是我们刚才使用命令创建项目时的项目名（scrapy startproject 项目名）。是整个项目所在文件夹，点开有两个文件，game和scrapy.cfgb.第二个game，是项目的根目录，后面导包都是在这个里。scrapy.cfg：描述了一些设置，以及部署，这个不能删除。c.点开根目录game：有6个文件，分别是spiders文件夹，__init__.py,items.py,middlewares.py,pipelines.py,settings.py。spiders文件夹:是scrapy框架模块中的spiders，爬虫，数据解析都在这里。__init__.py:items.py:为了scrapy去封装比较大的数据时用到。middlewares.py:中间件，处理反爬，cookie等pipelines.py:管道，存储数据。settings.py：对整个scrapy或者当前项目整体的配置信息。



步骤二：进入项目：cd 项目名称。或者在pycharme中选中文件夹Terminal

步骤三：创建爬虫：命令创建爬虫：scrapy genspider 爬虫名称 域名（scrapy genspider xiao 4399.com）
(gen:生成)


步骤四：可能需要修改start_url,修改成需要抓取的页面


步骤五：对数据进行解析。在spider里面的parse(response)方法中进行解析


parse()：该方法是XiaoSpider继承scrapy.Spider中的parse()，所以该方法不能修改名称，11行旁边的圆圈就表示该方法可以重写

def _parse(self, response, kwargs):父类中还有kwargs。但是子类最开始进来时，没有**kwargs参数，所以会显示黄色警告之后可能会报错。

def parse(self, response):修改成def parse(self, response, **kwargs):response.text 源代码response.json()返回数据是jsonresponse.xpath()response.css()
解析数据时需要注意：默认xpath()返回的是Selector对象。
想要数据必须使用extract()提取数据。
extract()返回列表
extract_first()返回一个数据yield 返回数据  --》把数据交给Pipeline进行持久化存储


步骤六：在Pipeline中完成数据的存储工作。


class 类名():类名可以自己取。
def process_item(self, item, spider):这个不能修改。
item：是数据
spider：是爬虫
return item #必须要return东西，否则下一个管道收不到数据。最后一个管道可以不写return

步骤七：设置settings.py文件将Pipeline进行生效设置


ITEM_PIPELINES = {
“管道路径”: 优先级,优先级数越小，越高，越先执行
}

如：ITEM_PIPELINES = { "game.pipelines.GamePipeline": 300, }

步骤八：运行项目：scrapy 命令：scrapy crawl 爬虫名（ scrapy crawl xiao），运行后，会打印出日志。


如果不想看日志，打开settings.py，添加：
LOG_LEVEL="WARNING"
#设置成WARNING是指，只打印WARNING及以上级别的日志。
#日志级别：DEBUG，INFO，WARNING，ERROR，CRITICAL（等级从低到高）

scrapy案例
创建项目

scrapy startproject game

创建爬虫
进入scrapy创建项目文件夹中：

scrapy genspider 爬虫名称 域名（scrapy genspider xiao 4399.com）


可能需要修改start_url,修改成需要抓取的页面

start_urls = ["https://4399.com"]

修改成

start_urls = ["https://www.4399.com/flash/"]

数据解析


在spider里面的parse(response)方法中进行解析
scrapy中xpath和css（）可以混合用

import scrapy
from game.items import GameItemclass XiaoSpider(scrapy.Spider):#scrapy.Spider是继承scrapy中的spiders模块，不要去修改name = "xiao"#爬虫名字allowed_domains = ["4399.com"]#被允许的域名start_urls = ["https://www.4399.com/flash/"]#修改后的urldef parse(self, response, **kwargs):#拿到页面源代码#print(response.text)#response.json()返回数据是json#利用浏览器的xpathtxt = response.xpath('//*[@id="skinbody"]/div[8]/ul/li/a/b/text()').extract()  # 用xpath进行数据解析,用extract()提取选择器里的数据print(txt)#自己根据html写xpathtxt1 = response.xpath("//ul[@class='n-game cf']/li/a/b/text()").extract()  # 用xpath进行数据解析,用extract()提取选择器里的数据print(txt1)#分块提取，循环li_list = response.xpath("//ul[@class='n-game cf']/li")for li in li_list:name=li.xpath('./a/b/text()').extract_first()#extract_first()提取一项内容，如果没有，返回NONEurl ='https://www.4399.com'+ li.xpath('./a/@href').extract_first()  # extract_first()提取一项内容，如果没有，返回NONEsrc='https:'+li.xpath('./a/img/@lz_src').extract_first()category = li.xpath('./em/a/text()').extract_first()date = li.xpath('./em/text()').extract_first()'''scrapy中当数据量或者字段较多，管道较多时，直接用字典存储，可能后续会报错，有时报错也找不到具体在哪里。因此，聪明的方法就是：利用items.py文件。items.py修改：1.在class类中定义存储的key值。class GameItem(scrapy.Item):#name = scrapy.Field()这个定义后，name相当于dict中的key。name = scrapy.Field()url = scrapy.Field()src = scrapy.Field()category = scrapy.Field()date = scrapy.Field()2.导包：from game.items import GameItem。注意：若scrapy项目不时最开始的根目录，导包时会报错，可以在项目的根目录game点击右键，选择Mark Directory as --》选择root '''xiao_game=GameItem()xiao_game['name']=namexiao_game['url'] = urlxiao_game['src'] = srcxiao_game['category'] = categoryxiao_game['date'] = dateyield xiao_game'''别用傻方法dic={'name':name,'url':url,'src':src,'category':category,'date':date}#需要用yield将数据传递给管道#yield dic 如果返回的是数据，直接可以认为是给了管道Pipeline。实际是先给引擎，引擎再给管道Pipeline。这样能提高性能，主要体现在内存上yield dic#yield是生成器。如果用list临时保存，会占用内存空间，生成器函数节省内存'''


用xpath和css混合解析

import scrapy
from game.items import GameItemclass XiaoSpider(scrapy.Spider):#scrapy.Spider是继承scrapy中的spiders模块，不要去修改name = "xiao"#爬虫名字allowed_domains = ["4399.com"]#被允许的域名#start_urls = ["https://4399.com"]#起始页面url，这里可以修改，我们想爬的是https://www.4399.com/flash/，所以要修改start_urls = ["https://www.4399.com/flash/"]def parse(self, response, **kwargs):#分块提取，循环li_list = response.xpath("//ul[@class='n-game cf']/li")for li in li_list:'''name=li.xpath('./a/b/text()').extract_first()#extract_first()提取一项内容，如果没有，返回NONEurl ='https://www.4399.com'+ li.xpath('./a/@href').extract_first()  # extract_first()提取一项内容，如果没有，返回NONEsrc='https:'+li.xpath('./a/img/@lz_src').extract_first()category = li.xpath('./em/a/text()').extract_first()date = li.xpath('./em/text()').extract_first()'''name = li.css('b::text').extract_first()url = 'https://www.4399.com' + li.css("a::attr(href)").extract_first()src = 'https:' + li.css("a img::attr(lz_src)").extract_first()category = li.css('em a::text').extract_first()date = li.css('em::text').extract_first()xiao_game = GameItem()xiao_game['name'] = namexiao_game['url'] = urlxiao_game['src'] = srcxiao_game['category'] = categoryxiao_game['date'] = dateyield xiao_game


在Pipeline中完成数据的存储工作

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html# useful for handling different item types with a single interface
from itemadapter import ItemAdapter'''注意：管道默认是不开启的，需要去settings.py中开启，如：
ITEM_PIPELINES = {"game.pipelines.GamePipeline": 300,
}
'''
class GamePipeline:#这个是默认创建的，可以修改，如下文17行NewPipelinedef process_item(self, item, spider):#这个是定死的，不能修改.这个里面就可以保存数据。#item是数据，#spider是爬虫，如xiao.py中name = "xiao"print(item)print(spider.name)#这里可以开始存储数据了return itemclass NewPipeline:def process_item(self, item, spider):'''若要在item中在加一个字段，不能想dict一样直接赋值，必须要现在items.py中定义key，如：love = scrapy.Field()。'''item['love']='我喜欢吃冰淇淋'return item


设置settings.py文件将Pipeline进行生效设置

'''key是管道的路径，
value是优先级，优先级数越小，越高，越先执行'''
ITEM_PIPELINES = {"game.pipelines.GamePipeline": 300,#"game.pipelines.NewPipeline": 299,
}


运行项目


scrapy 命令：scrapy crawl 爬虫名（ scrapy crawl xiao），运行后，会打印出日志。
如果不想看日志，打开settings.py，添加：LOG_LEVEL=“WARNING”#设置成WARNING是指，只打印WARNING及以上级别的日志。
#日志级别：DEBUG，INFO，WARNING，ERROR，CRITICAL（等级从低到高）
————————————————


原文链接：https://blog.csdn.net/qq_35249586/article/details/131023114

还没看够？可以关注呦~下面有免费的靶场视频，面试技巧等等

+V【zkaq222】或者下面的扫码不然通不过哦，免费领取安全学习资料包！（私聊进群一起学习，共同进步）腾讯文档-在线文档icon-default.png?t=N7T8https://docs.qq.com/doc/DYmVETWlZemh0Ymdv 

http://www.yidumall.com/news/45191.html

相关文章：

  • 互联网工作工资高吗关键词seo优化排名公司
  • 11108给换成119333做网站2020 惠州seo服务
  • 哔哩哔哩网站seo公司外包
  • 舆情网站入口网址大全名字百度关键词价格排行榜
  • 做行业网站广告能赚多少钱安卓优化大师最新版
  • 开封网站制作公司西安网络推广优化培训
  • 物流网站推广怎么做发布友情链接
  • 龙华做网站的公司百度广告代运营公司
  • 企业网站模板 简洁windows优化大师自动安装
  • 建设网站教程视频视频视频白帽seo
  • android移动网站开发详解光盘下载网站建设seo
  • 动态网站开发代码宿州百度seo排名软件
  • dw做的网站怎么发布怎么查询最新网站
  • 有哪些可以做包装袋的网站软文文案案例
  • 公司网站 开源行业关键词搜索排名
  • 个人网站平台搭建seo网上培训多少钱
  • 网站团购功能怎么做网络营销的5种方式
  • 上海网站建设开发公百度一下你就知道主页
  • 网站打不开是怎么回事百度网站app
  • 网站背景css网络营销活动策划
  • nodejs做静态网站免费直链平台
  • 有哪些做农产品的网站有哪些自己搭建网站需要什么
  • 郑州做网站外包的公司有哪些互联网怎么赚钱
  • 网站做预览文档悟空建站seo服务
  • 云南省网站开发软件长沙互联网推广公司
  • 智能手机应用开发谷歌seo网站推广怎么做
  • 免费logo图标在线制作seo技术平台
  • 新冠疫情最新数据常州网站优化
  • 网站设计需要在哪方面提升html网页模板
  • 那个网站做精防手机无锡百度竞价推广