spark 类对象去重
16lz
2021-04-21
case class User(age:Int, name:String){
override def hashCode(): Int = this.age
override def equals(obj: Any): Boolean = obj match { case User(age,_) => this.age == age case _ => false}}
//Uer 对象重写 hashCode 和equals 方法 判断对象是否相等
sc.parallelize(List(User(11,"op"),User(12,"pp"),User(11,"lp")))
.distinct()
.foreach(println)
结果显示
或者
sc.parallelize(List(User(11,"op"),User(12,"pp"),User(11,"lp")))
.map((x,null))
.reduceByKey((x,)=>x)
.map(._1)
.foreach(println)
更多相关文章
- 一文读懂java中的Reference和引用类型
- jQuery入门学习一
- 面向对象系列教材 （三）- Java类的方法
- 面向对象系列教材 （二）- Java类的属性
- 面向对象系列教材 （一）- Java中的类和对象
- 反射机制
- Spring初使用：使用Spring创建对象
- Servlet监听器使用实例（提高程序运行速度）
- Java面试题，Java面试题及答案，2021最新的，都整理好了