当前位置: 首页 > news >正文

做网站 怎么推广seo的工具有哪些

做网站 怎么推广,seo的工具有哪些,闵行做网站建设,汕头网站搭建学习目标: 了解 requests模块的介绍掌握 requests的基本使用掌握 response常见的属性掌握 requests.text和content的区别掌握 解决网页的解码问题掌握 requests模块发送带headers的请求掌握 requests模块发送带参数的get请求 1 为什么要重点学习requests模块&…

学习目标:

  1. 了解 requests模块的介绍
  2. 掌握 requests的基本使用
  3. 掌握 response常见的属性
  4. 掌握 requests.text和content的区别
  5. 掌握 解决网页的解码问题
  6. 掌握 requests模块发送带headers的请求
  7. 掌握 requests模块发送带参数的get请求

1 为什么要重点学习requests模块,而不是urllib

  • requests的底层实现就是urllib
  • requests在python2 和python3中通用,方法完全一样
  • requests简单易用
  • Requests能够自动帮助我们解压(gzip压缩的等)响应内容

2 requests的作用

作用:发送网络请求,返回响应数据

补充:Python爬虫踩坑:UnicodeEncodeError: ‘gbk‘ codec can‘t encode character 全有效解的决方法

  • PyCharm设置
  • 我注意到,我已经用utf-8来解码了,但是解释器的报错信息还是暴出gbk方面的解码错误。
  • 会对这串二进制流进行处理的只有三方,一方是Chrome浏览器,一方是Python解释器,另一方是PyCharm,事实证明Chrome浏览器用utf-8格式是可以解析的,那么格式肯定是对的,StreamReader类已经考虑到了异常字符的处理方式,所以Python本身也不会有问题,那么问题只有可能出在PyCharm的设置上了。
  • 点击File -> Settings…

将下面的GBK改成UTF-8就可以解决这个问题了:
在这里插入图片描述
大功告成:
在这里插入图片描述

3 requests模块发送简单的get请求、获取响应

需求:通过requests向百度首页发送请求,获取百度首页的数据

import requests# 目标url
url = 'https://www.baidu.com'# 向目标url发送get请求
response = requests.get(url)# 打印响应内容
print(response.text)

在这里插入图片描述

response的常用属性:

  • response.text 响应体 str类型
  • respones.content 响应体 bytes类型
  • response.status_code 响应状态码
  • response.request.headers 响应对应的请求头
  • response.headers 响应头
  • response.request._cookies 响应对应请求的cookie
  • response.cookies 响应的cookie(经过了set-cookie动作)

思考:text是response的属性还是方法呢?

  • 一般来说名词,往往都是对象的属性,对应的动词是对象的方法

3.1 response.text 和response.content的区别

  • response.text

    • 类型:str
    • 解码类型: requests模块自动根据HTTP 头部对响应的编码作出有根据的推测,推测的文本编码
    • 如何修改编码方式:response.encoding=”gbk”
  • response.content

    • 类型:bytes
    • 解码类型: 没有指定
    • 如何修改编码方式:response.content.deocde(“utf8”)

获取网页源码的通用方式:

  1. response.content.decode()
  2. response.content.decode("GBK")
  3. response.text

以上三种方法从前往后尝试,能够100%的解决所有网页解码的问题

所以:更推荐使用response.content.deocde()的方式获取响应的html页面

3.2 练习:把网络上的图片保存到本地

我们来把www.baidu.com的图片保存到本地

思考:

  • 以什么方式打开文件
  • 保存什么格式的内容

分析:

  • 图片的url: https://www.baidu.com/img/bd_logo1.png
  • 利用requests模块发送请求获取响应
  • 以2进制写入的方式打开文件,并将response响应的二进制内容写入
import requests# 图片的url
url = 'https://www.baidu.com/img/bd_logo1.png'# 响应本身就是一个图片,并且是二进制类型
response = requests.get(url)# print(response.content)# 以二进制+写入的方式打开文件
with open('baidu.png', 'wb') as f:# 写入response.content bytes二进制类型f.write(response.content)

在这里插入图片描述

4 发送带header的请求

我们先写一个获取百度首页的代码

import requestsurl = 'https://www.baidu.com'response = requests.get(url)print(response.content)# 打印响应对应请求的请求头信息
print(response.request.headers)

在这里插入图片描述

为什么请求需要带上header?
模拟浏览器,欺骗服务器,获取和浏览器一致的内容

4.1 header的形式:字典

headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}

4.2 用法

requests.get(url, headers=headers)

4.3 完整的代码

import requestsurl = 'https://www.baidu.com'headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}# 在请求头中带上User-Agent,模拟浏览器发送请求
response = requests.get(url, headers=headers)# print(response.content)# 打印请求头信息
print(response.request.headers)

在这里插入图片描述

5 发送带参数的请求

我们在使用百度搜索的时候经常发现url地址中会有一个 ?,那么该问号后边的就是请求参数,又叫做查询字符串

5.1 什么叫做请求参数:

例1:https://blog.csdn.net/weixin_51390582

例2:https://blog.csdn.net/weixin_51390582?spm=1011.2415.3001.5343

例1中没有请求参数!例2中?后边的就是请求参数

5.2 请求参数的形式:字典

kw = {'wd':'长城'}

5.3 请求参数的用法

requests.get(url,params=kw)

5.4 关于参数的注意点

在url地址中, 很多参数是没有用的,比如百度搜索的url地址,其中参数只有一个字段有用,其他的都可以删除
如何确定那些请求参数有用或者没用:挨个尝试!
对应的,在后续的爬虫中,越到很多参数的url地址,都可以尝试删除参数

5.5 两种方式:发送带参数的请求

https://www.baidu.com/s?wd=python发起请求可以使用requests.get(url, params=kw)的方式

# 方式一:利用params参数发送带参数的请求
import requestsheaders = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}# 这是目标url
# url = 'https://www.baidu.com/s?wd=python'# 最后有没有问号结果都一样
url = 'https://www.baidu.com/s?'# 请求参数是一个字典 即wd=python
kw = {'wd': 'python'}# 带上请求参数发起请求,获取响应
response = requests.get(url, headers=headers, params=kw)# 当有多个请求参数时,requests接收的params参数为多个键值对的字典,比如 '?wd=python&a=c'-->{'wd': 'python', 'a': 'c'}print(response.content)

在这里插入图片描述

也可以直接对https://www.baidu.com/s?wd=python完整的url直接发送请求,不使用params参数

# 方式二:直接发送带参数的url的请求
import requestsheaders = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}url = 'https://www.baidu.com/s?wd=python'# kw = {'wd': 'python'}# url中包含了请求参数,所以此时无需params
response = requests.get(url, headers=headers) 

小结

  1. requests模块的介绍:能够帮助我们发起请求获取响应
  2. requests的基本使用:requests.get(url)
  3. 以及response常见的属性:
  • response.text 响应体 str类型
  • respones.content 响应体 bytes类型
  • response.status_code 响应状态码
  • response.request.headers 响应对应的请求头
  • response.headers 响应头
  • response.request._cookies 响应对应请求的cookie
  • response.cookies 响应的cookie(经过了set-cookie动作)
  1. 掌握 requests.text和content的区别:text返回str类型,content返回bytes类型
  2. 掌握 解决网页的解码问题:
  • response.content.decode()
  • response.content.decode("GBK")
  • response.text
  1. 掌握 requests模块发送带headers的请求:requests.get(url, headers={})
  2. 掌握 requests模块发送带参数的get请求:requests.get(url, params={})
http://www.yidumall.com/news/17178.html

相关文章:

  • 做网站优化的营销公司网站
  • 新媒体网站建设优化推广联盟
  • 服务器网站跳转怎么做山东做网站公司
  • 翼讯自助网站石首seo排名
  • 湘西做网站现在感染症状有哪些
  • 合肥网站建设托管怎么做产品推广和宣传
  • 响应式网站能用dw做吗信息流投放平台
  • 中铁建设集团有限公司官方网站怎样推广自己的商城
  • 免费网页托管郑州seo管理
  • 徐州做网站xlec百度搜索推广收费标准
  • wordpress 免费电商主题广州seo关键词优化费用
  • uc做购物网站千瓜数据
  • 广州网站设计工作室职业培训机构需要什么资质
  • 网站免费观影怎么做百度推广员工工资怎么样
  • 西宁做网站_君博示范谷歌外贸平台推广需要多少钱
  • 现在做一个网站系统多少钱网络营销策略实施的步骤
  • 建网站当老板网页模板代码
  • 济南城乡住房建设厅网站企业建站系统
  • 太原网站建设制作报价百度指数免费添加
  • 115做网站今日重大新闻头条
  • 网页设计图片修改后是否可以商用seo整站优化公司持续监控
  • 网站源码怎么做网站网页推广方案
  • 手机网站整站源码网站免费建站app
  • 秦皇岛网站制作报价凡科建站小程序
  • 天元建设集团有限公司天眼查信阳seo
  • 网站怎么做图片动态搜索引擎优化方法有哪几种
  • 同城型网站开发网络推广员岗位职责
  • 昆山网站设计哪家好成人短期电脑培训班学费
  • 比较好的网站建设公司推广赚钱平台有哪些
  • 新疆建设工程信息服务平台五年级下册数学优化设计答案