即将发布的 Apache Spark 2.4 都有哪些新功能
16lz
2021-04-01
即将发布的 Apache Spark 2.4 都有哪些新功能
过往记忆大数据 过往记忆大数据
本文来自于2018年09月19日在 Adobe Systems Inc 举行的 Apache Spark Meetup。
即将发布的 Apache Spark 2.4 版本是 2.x 系列的第五个版本。 本文对 Apache Spark 2.4 的主要功能和增强功能进行了概述。
- 新的调度模型（Barrier Scheduling），使用户能够将分布式深度学习训练恰当地嵌入到 Spark 的 stage 中，以简化分布式训练工作流程。
- 添加了35个高阶函数，用于在 Spark SQL 中操作数组/map。
- 新增一个新的基于 Databricks 的 spark-avro 模块的原生 AVRO 数据源。
- PySpark 还为教学和可调试性的所有操作引入了热切的评估模式（eager evaluation mode）。
- Spark on K8S 支持 PySpark 和 R ，支持客户端模式（client-mode）。
- Structured Streaming 的各种增强功能。 例如，连续处理（continuous processing）中的有状态操作符。
- 内置数据源的各种性能改进。 例如，Parquet 嵌套模式修剪（schema pruning）。
- 支持 Scala 2.12。
更多相关文章
- SpringBoot + Mybatis + Druid + PageHelper在多数据源下如何配
- 关于OpenGL游戏全屏模式的设置
- 《游戏程序设计模式》 2.2 - 游戏循环
- 态路小课堂丨QSFP-DD封装模式光模块接口类型：LC/MPO12/MPO16/MPO2
- Apache Hive 联邦查询（Query Federation）
- python之模拟io模式
- Centos7配置DR模式的LVS
- 干货丨DolphinDB通用计算教程
- 2021-03-30