Spark分区器HashPartitioner和RangePartitioner代码详解
16lz
2021-04-02
Spark分区器HashPartitioner和RangePartitioner代码详解
iteblog 过往记忆大数据
在Spark中分区器直接决定了RDD中分区的个数;也决定了RDD中每条数据经过Shuffle过程属于哪个分区;也决定了Reduce的个数。这三点看起来是不同的方面的,但其深层的含义是一致的。
我们需要注意的是,只有Key-Value类型的RDD才有分区的,非Key-Value类型的RDD分区的值是None的。
在Spark中,存在两类分区函数:HashPartitioner和RangePartitioner,它们都是继承自Partitioner,主要提供了每个RDD有几个分区(numPartitions)以及对于给定的值返回一个分区ID(0~numPartitions-1),也就是决定这个值是属于那个分区的。
HashPartitioner分区
HashPartitioner分区的原理很简单,对于给定的key,计算其hashCode,并除于分区的个数取余,如果余数小于0,则用余数+分区的个数,最后返回的值就是这个key所属的分区ID。实现如下:
01 class HashPartitioner(partitions: Int) extends Partitioner {02 require(partitions >= 0, s"Number of partitions ($partitions) cannot be negative.")03 04 def numPartitions: Int = partitions05 06 def getPartition(key: Any): Int = key match {07 case null => 008 case _ => Utils.nonNegativeMod(key.hashCode, numPartitions)09 }10 11 override def equals(other: Any): Boolean = other match {12 case h: HashPartitioner =>13 h.numPartitions == numPartitions14 case _ =>15 false16 }17 18 override def hashCode: Int = numPartitions19 }
©著作权归作者所有:来自51CTO博客作者mob604756f47778的原创作品,如需转载,请注明出处,否则将追究法律责任
更多相关文章
- 如何开始一个数据科学项目?
- 北大国发院SSCI期刊等级分区什么鬼?
- Linux运维入门教程06-04 (硬盘分区、格式化及文件系统的管理二)
- Spark 从 Kafka 读数并发问题
- 如何为Kafka集群选择合适的Topics/Partitions数量
- 2021-03-31:给定一个数组arr,给定一个值v。求子数组平均值小于等于
- 一文了解 Apache Spark 3.0 动态分区裁剪(Dynamic Partition Pru
- Linux运维入门教程06-03 (硬盘分区、格式化及文件系统的管理一)
- 32 道常见的 Kafka 面试题你都会吗?附答案