spark学习-SparkSQL--07-SparkContext类和SparkConf类
16lz
2021-01-22
任何Spark程序都是SparkContext开始的,SparkContext的初始化需要一个SparkConf对象,SparkConf包含了Spark集群配置的各种参数。
初始化后,就可以使用SparkContext对象所包含的各种方法来创建和操作RDD和共享变量。Spark shell会自动初始化一个SparkContext,在编程中的具体实现为:
val conf = new SparkConf().setAppName(“AppName”).setMaster(“local[3] or masterIP:PORT”)
val sc = new SparkContext(conf)
SparkContext的简单构造函数为:
val sc = new SparkContext(“local[3] or masterIP:PORT”,”AppName”
更多相关文章
- 彻底理解初始化参数SERVICE_NAMES和客户端TNS中的SERVICE_NAME
- identity_insert和表初始化脚本
- Django查询优化:根据多对一到多对多查找对象列表
- PostgreSQL操纵大对象(图片等)
- Recordset记录集对象的属性
- 【Linux】Mysql初始化root密码和允许远程访问
- GenericObjectPool对象池异常排查
- Java对象创建的过程及对象的内存布局与访问定位
- request对象和response对象