搜索
您的当前位置:首页spark 分区器

spark 分区器

来源:爱问旅游网

spark 分区器

注意:只有Key-Value类型的RDD才有分区器,非Key-Value类型的RDD分区的值是None

分区器的种类

Spark目前支持Hash分区Range分区(和排序相关的),和用户自定义分区

若工作中使用到分区器,Hash分区器被使用到的的几率75%,Range分区25%,自定义分区5%

HashPartitioner 分区的原理

对于给定的key,计算其hashCode,并对分区的个数取余

缺点:极端情况下会导致某些分区拥有RDD的全部数据

RangePartitioner 分区的原理

简单的说就是将一定范围内的数映射到某一个分区内,分区与分区之间是有序的,一个分区中的元素肯定都是比另一个分区内的元素小或者大,但是分区内的元素是不能保证有序

注意:该分区器要求RDD中的key类型必须是可以排序的

第一步:先从整个RDD中采用水塘抽样算法,抽取出样本数据,将样本数据排序,计算出每个分区的最大key值,形成一个Array[KEY]类型的数组变量rangeBounds

第二步:判断key在rangeBounds中所处的范围,给出该key值在下一个RDD中的分区id下标

3种分区器的代码演示

因篇幅问题不能全部显示,请点此查看更多更全内容

Top