当前位置: 首页 > news >正文

b2b网站建设解决方案软文营销网站

b2b网站建设解决方案,软文营销网站,wordpress安卓手机版,法制办网站建设Ruby语言爬虫是指使用Ruby编写的网络爬虫程序,用于自动化地从互联网上获取数据。其中,CRawler是一个基于文本的小型地牢爬虫,它被设计为可扩展,所有游戏数据均通过JSON文件提供,程序仅处理游戏引擎。除此之外&#xff…

Ruby语言爬虫是指使用Ruby编写的网络爬虫程序,用于自动化地从互联网上获取数据。其中,CRawler是一个基于文本的小型地牢爬虫,它被设计为可扩展,所有游戏数据均通过JSON文件提供,程序仅处理游戏引擎。除此之外,还有其他令人敬畏的网络爬虫,蜘蛛和各种语言的资源,如Python、Java、C#、JavaScript、PHP、C++、Ruby、R、Erlang、Perl、Go、Scala等。

在这里插入图片描述

1、Ruby语言爬虫是指使用Ruby编写的网络爬虫程序,用于自动化地从互联网上获取数据。

2、CRawler是一个基于文本的小型地牢爬虫,它被设计为可扩展,所有游戏数据均通过JSON文件提供,程序仅处理游戏引擎。

3、除了CRawler之外,还有其他令人敬畏的网络爬虫,蜘蛛和各种语言的资源,如Python、Java、C#、JavaScript、PHP、C++、Ruby、R、Erlang、Perl、Go、Scala等。

上代码

require 'open-uri'
require 'nokogiri'
require 'watir'# 设置爬虫ip服务器信息
proxy_host = 'duoip'
proxy_port = '8000'# 创建一个爬虫ip服务器对象
proxy = URI::HTTP.build(host: proxy_host, port: proxy_port)# 使用Nokogiri库解析网页内容
html = open('meeting.tencent', http_proxy: proxy)
doc = Nokogiri::HTML(html)# 使用Watir库遍历网页中的所有视频链接
browser = Watir::Browser.new(:chrome)
browser.goto 'meeting.tencent'
links = browser.linkslinks.each do |link|link_url = link.hrefif link_url =~ /video/ # 判断链接是否指向视频browser.goto link_urlvideo_url = browser.title # 获取视频URLputs video_urlend
end

这段代码首先导入了所需的库,包括OpenURI、Nokogiri和Watir。然后,它设置了爬虫ip服务器的主机名和端口号,并创建了一个爬虫ip服务器对象。接着,它使用Nokogiri库解析了指定网页的内容,并使用Watir库遍历了网页中的所有链接。对于每个链接,它检查是否指向视频,如果是,则获取该视频的URL并打印出来。注意,这段代码需要在安装了OpenSSL和谷歌浏览器的环境中运行。

http://www.yidumall.com/news/39961.html

相关文章:

  • 捡个校花做老婆是哪个网站的扬州整站seo
  • 沈阳手机网站制作成品短视频软件大全下载手机版
  • 昆明云南微网站互联网运营推广
  • 做网站下一页营销软文范例大全300
  • 品牌设计全套案例福州网站优化公司
  • 南阳市建网站公搜索引擎环境优化
  • 电脑中怎样安装wordpress亚马逊seo关键词优化软件
  • dw5做简单的企业网站网络营销策略有哪五种
  • 做网站用笔记本电脑国际新闻最新消息今天
  • 燕郊网站建设石家庄
  • 株洲网站优化电商网站前端页面内容编写
  • 做彩票网站犯法吗暴疯团队seo课程
  • 网站设计公司官网企业网站的域名是该企业的
  • 网页设计动画网站百度指数使用指南
  • 建设企业网站价钱a站
  • 合肥网站建设新手百度视频
  • 北京微信网站建设公司天猫关键词排名怎么控制
  • 武汉有个网站叫什么谷歌推广和seo
  • 做美食网站的项目背景百度网盘资源搜索引擎搜索
  • 网站添加地图导航网页设计模板图片
  • 阿克苏交通建设局网站百度云网盘搜索引擎
  • 免费的图片做视频在线观看网站成人技能培训班有哪些
  • 做网站盈利百度推广费用报价单
  • 请别人做网站的缺点百度免费推广网站
  • 武汉网站建设公司收费海外发布新闻
  • 网站团队组成济南百度竞价
  • 天津seo网站设计抖音seo关键词优化排名
  • 百度推广手机网站湖南网站优化
  • 微网站搭建的步骤和技巧腾讯云服务器
  • 西安自助建站做网站怎么自己弄一个网站