注意:
只有Key-Value类型的RDD才有分区器,非Key-Value类型的RDD分区的值是None
Spark目前支持Hash分区
和Range分区(和排序相关的)
,和用户自定义分区
若工作中使用到分区器,Hash分区器被使用到的的几率75%,Range分区25%,自定义分区5%
对于给定的key,计算其hashCode,并对分区的个数取余
缺点:
极端情况下会导致某些分区拥有RDD的全部数据
简单的说就是将一定范围内的数映射到某一个分区内,分区与分区之间是有序的,一个分区中的元素肯定都是比另一个分区内的元素小或者大,但是分区内的元素是不能保证有序
注意:
该分区器要求RDD中的key类型必须是可以排序的
第一步:先从整个RDD中采用水塘抽样算法,抽取出样本数据,将样本数据排序,计算出每个分区的最大key值,形成一个Array[KEY]类型的数组变量rangeBounds
第二步:判断key在rangeBounds中所处的范围,给出该key值在下一个RDD中的分区id下标
因篇幅问题不能全部显示,请点此查看更多更全内容