当前位置: 首页 > news >正文

玩具网站建设方案市场营销专业课程

玩具网站建设方案,市场营销专业课程,济南网站建设培训,被墙域名黑别人网站基本流程 用户编写的Spark应用程序最开始都要初始化SparkContext。 用户编写的应用程序中,每执行一个action操作,就会触发一个job的执行,一个应用程序中可能会生成多个job执行。一个job如果存在宽依赖,会将shuffle前后划分成两个…

基本流程

用户编写的Spark应用程序最开始都要初始化SparkContext。

用户编写的应用程序中,每执行一个action操作,就会触发一个job的执行,一个应用程序中可能会生成多个job执行。一个job如果存在宽依赖,会将shuffle前后划分成两个stage,前一个stage会将计算结果临时进行存储,后一个stage则进行读取,完成数据交换。

每个stage中,需要执行的计算过程会被划分成多个逻辑相同的一组Task,每个Task会被提交到Executor中运行。当Task运行完成后,会将运行结果返回至Driver中。 

主要组件

Driver端

  1. DAGScheduler:负责将Job划分为Stage,再将Stage划分为TaskSet;
  2. TaskScheduler:负责任务的调度;
  3. SchedulerBackend:负责资源的分配,并把Task提交给Executor中执行。

Executor端

  1. BlockManager:缓存RDD、缓存Task运行结果。

Job提交执行流程

Task提交

SparkContext将RDD的action操作转化为Job,并将Job交给DAGScheduler做进一步处理。

DAGScheduler首选根据shuffle划分stage,根据stage中分区的数量,生成一组Task(即TaskSet),生成Task时还会计算Task的最佳执行位置。DAGScheduler会根据RDD是否进行了缓存来确定是否具有最佳运行位置。

DAGScheduler将Stage生成TaskSet以后,会将TaskSet交给TaskScheduler进行处理,TaskScheduler负责将Task提交到集群中运行,并负责失败重试,为DAGScheduler返回事件信息等。

当有任务提交至TaskScheduler中时,TaskScheduler会通知SchedulerBackend分配计算资源。SchedulerBackend将所有可用的Executor的资源信息转换为WorkerOffer交给TaskScheduler。TaskScheduler负责根据这些WorkerOffer在相应的Executor分配TaskSet中的Task。

SchedulerBackend中通过使用Map结构记录每一个ExecutorData的映射,即可管理所有Executor的CPU使用的情况。为计算任务分配计算资源时,只需要遍历所有的ExecutorData,分配可用的资源即可。

TaskScheduler在接受到DAGScheduler提交的TaskSet以后,会为每个TaskSet创建一个TaskSetManager,用于管理该TaskSet中所有任务的运行。TaskSetManager会根据Task中的最佳运行位置计算TaskSet的所有本地运行级别,本地运行的级别决定了Task最终在哪个Executor中运行。Spark中本地运行级别从小到大可分为进程本地化、节点本地化、无优先位置、机架本地化、任意节点。

Task执行

Executor接收到SchedulerBackend提交的LaunchTask消息后,即可运行该消息中包含的Task。Executor将接收到的Task封装到TaskRunner中,TaskRunner是一个Runnable接口,从而可以将该任务提交到线程池中运行。

当在一个Executor中同时运行多个Task时,多个Task共享Executor中SparkEnv的所有组件,共用Executor中分配的内存。如使用Spark广播变量时,每个Executor中会存在一份,Executor中所有的任务会共享这一份变量。当Executor中的BlockManager缓存了某rdd某分区的数据时,在该Executor上调度使用这个RDD的这个分区的数据的Task执行,可以有效减少网络加载数据的过程,减少网络传输。

当Executor中Task运行完成时,需要将Task的运行结果返回Driver程序,Driver程序根据结果判断该Stage是否计算完成,或者该Job是否计算完成。

http://www.yidumall.com/news/31208.html

相关文章:

  • 专门做网站的公司网络营销策划目的
  • 政府网站建设普查发布项目信息的平台
  • 排名好的手机网站建设制作链接的app的软件
  • 个人可以备案网站sem全称
  • 用护卫神做网站google谷歌
  • 制作公司网站在公账汇款时用途备注什么网站建设百度推广
  • 淮南网站建设科技有限公司制作网站需要什么软件
  • 赣州市建设局网站北京疫情最新情况
  • 品牌商城网站制作公司品牌营销策划有限公司
  • 效果好的网站建设公司三只松鼠网络营销策划书
  • ps做游戏下载网站有哪些怎样在网上推广自己的产品
  • 网站建设的报价方案代刷网站推广
  • 桂林北站是哪个区开一个网站需要多少钱
  • 万州做网站多少钱ip域名解析查询
  • 做网站后台系统的规范如何免费做网站网页
  • 淘宝网站建设 推广 上海百度搜索排行榜前十名
  • 做住宿的有几个网站深圳网络广告推广公司
  • 外贸建站源码青岛网站优化公司
  • 如何建立个人免费网站北京seoqq群
  • 要如何关闭公司网站 撤销备案流量购买网站
  • 新乡个人网站建设哪家好重庆网站网络推广
  • 学做日本料理的网站南宁市优化网站公司
  • 自己做的网站怎么发布上营销软文代写
  • e wordpress rest api重庆seo优化公司
  • 手机上如何建立wordpressseo 优化 工具
  • 博物馆 网站 建设潍坊网站建设
  • 网站建设公司 六安本周时事新闻概要10条
  • 小公司做网站东莞疫情最新消息通知
  • 二手网站哪些做的比较好公关公司是干嘛的
  • 商业设计网站推荐长沙靠谱seo优化价格