基本信息
文件名称:Spark Day03:窄依赖与宽依赖详解及Stage划分规则.pdf
文件大小:1011.76 KB
总页数:8 页
更新时间:2026-01-16
总字数:约4.34千字
文档摘要

Sparkday03

1.术语解释

2.窄依赖和宽依赖

RDD之间有一系列的依赖关系,依赖关系又分为窄依赖和宽依赖。

?窄依赖

父RDD和子RDDpartition之间的关系是一对一的。或者父RDD一

个partition只对应一个子RDD的partition情况下的父RDD和子

RDDpartition关系是多对一的。不会有shuffle的产生。

?宽依赖

父RDD与