完善门户网站建设淘宝培训
spark ui 指南
- 1.sparkUI 基本介绍
- 2.jobs页面
- 3.stages 页面
- 4.storage 页面
- 5.environment 页面
- 6.ececutor 页面
- 7 sql 页面
spark ui 是反应一个spark 作业执行情况的页面,通过查看作业的执行情况,分析作业运行的状态.
1.sparkUI 基本介绍
进入运行主页面如下,主要有6各部分 任务实例: http://10.71.190.31:18081/history/application_1638893170232_266874/jobs/
| 标签页 | 描述 | ||
| 1 | jobs | spark作业执行的job | |
| 2 | stages | 所有stage信息 | The Stages tab displays a summary page that shows the current state of all stages of all jobs in the Spark application. |
| 3 | storage | rdd存储信息 | RDDs and DataFrame持久化 |
| 4 | environment | 作业配置参数 | JVM, Spark, and system 属性 |
| 5 | executors | 展示作业executors信息 | 任务executor创建信息, 包括 内存 ,磁盘使用 ,task ,shuffle信息) |
| 6 | sql | 解析sql 的信息 |
2.jobs页面
本次任务有14个job
2.1 event_time
按照时间顺序executor 的开始和结束时间点(added, removed)
2.2 job tab页面
每个job的信息包括 job id, description描述 , 提交时间, 耗时, stages数量, task 运行情况
2.3 job详情页面
点击job 描述可以进入对应的job详情页面
- Status: SUCCEEDED (running, succeeded, failed)
- Submitted: 2021/12/14 11:48:06
- Duration: 1.5 min
- Associated SQL Query: 2 job 的sql tab 连接
- Completed Stages: 1 每个状态的stage 数量 (active, pending, completed, skipped, failed)
- Skipped Stages: 8
Event Timeline
DAG Visualization : job 的有向无环图, 点表示: RDDs or DataFrames 边表示: rdd上的操作
stage根据active, pending, completed, skipped, and failed状态分类的列表
input : 从storage 读取字节数
output: 写入storage 字节数
shuffle read : shuffle 和 记录读取的字节数, 包括 本地数据读取和其他executor 节点读取字节数
shuffle write : 写入磁盘的字节和记录数,在下一个stage的shuffle 阶段读取.
注意看到stage 19-24 是 跳过了, 原因是spark shuffle 的数据会写到磁盘固化,当上游当上游stage(19-24)和之前执行过的stage 相同时,可以直接用之前的结果.
问题 :从图可以看出job之间是否可以并行?
3.stages 页面
3.1 stages 页面会显示作业所有的stage信息, 同样根据状态分组(active, pending, completed, skipped, and failed)
3.2 Stage detail
所有task 的总时间, 统计矩阵, shuffle 信息, 所属的job id
dag图上 展示一些操作名称: BatchScan, WholeStageCodegen, Exchange, etc
task 之间是否可以并行?
4.storage 页面
作业执行过程中缓存信息,包含 rdd 的大小和分部信息
运行时显示,但是B站的spark ui 点了没反应
5.environment 页面
作业运行环境和参数
查看 driver 和 executor 实际配置的大小
driver=6g executor=9g
6.ececutor 页面
作业包含的executor统计指标
正在运行中的任务有 thread dump ,跟踪task 的执行过程, 目前只能点开 driver 的节点, executor 节点 点击不开.
7 sql 页面
spark SQL 的执行情况, 一条sql 在spark 中如何执行. 但是B站的spark ui 点了没反应,需要从另外的入口进去, associated sql query 点击
detail 展示sql 在sqprk 中解析和优化的,B站的这一模块只展示了 3和4 部分
1.analysis 2.logical optimization 3. physical planing 4. code generation
问题
1.job driver executor task 关系
物理划分: client 提交→ appmaster 申请资源启动 → driver 启动→ executor启动 → code 执行 → 资源回收释放
逻辑划分 action → job → stage → task
2.判断任务倾斜
运行时间长?
参考链接:
1.官网: https://spark.apache.org/docs/3.2.0/web-ui.html#stages-tab
2. spark 入门 https://www.cnblogs.com/xing901022/p/6445254.html