基本信息
文件名称:Spark Day03:窄依赖与宽依赖详解及Stage划分规则.pdf
文件大小:1011.76 KB
总页数:8 页
更新时间:2026-01-16
总字数:约4.34千字
文档摘要
Sparkday03
1.术语解释
2.窄依赖和宽依赖
RDD之间有一系列的依赖关系,依赖关系又分为窄依赖和宽依赖。
?窄依赖
父RDD和子RDDpartition之间的关系是一对一的。或者父RDD一
个partition只对应一个子RDD的partition情况下的父RDD和子
RDDpartition关系是多对一的。不会有shuffle的产生。
?宽依赖
父RDD与