任何Spark程序都是SparkContext开始的,SparkContext的初始化需要一个SparkConf对象,SparkConf包含了Spark集群配置的各种参数。

初始化后,就可以使用SparkContext对象所包含的各种方法来创建和操作RDD和共享变量。Spark shell会自动初始化一个SparkContext,在编程中的具体实现为:
val conf = new SparkConf().setAppName(“AppName”).setMaster(“local[3] or masterIP:PORT”)
val sc = new SparkContext(conf)

SparkContext的简单构造函数为:
val sc = new SparkContext(“local[3] or masterIP:PORT”,”AppName”

更多相关文章

  1. 彻底理解初始化参数SERVICE_NAMES和客户端TNS中的SERVICE_NAME
  2. identity_insert和表初始化脚本
  3. Django查询优化:根据多对一到多对多查找对象列表
  4. PostgreSQL操纵大对象(图片等)
  5. Recordset记录集对象的属性
  6. 【Linux】Mysql初始化root密码和允许远程访问
  7. GenericObjectPool对象池异常排查
  8. Java对象创建的过程及对象的内存布局与访问定位
  9. request对象和response对象

随机推荐

  1. Android 使用iperf测试wifi吞吐量
  2. 二、 Android中gravity与layout_gravity
  3. Linux下Android(安卓)ADB驱动安装详解
  4. JNI 入门
  5. 8. android Tab 选项卡控件
  6. Android Service AIDL 远程调用服务 【简
  7. Android Debug certificate expired
  8. android实现服务器图片本地缓存
  9. Android EditText 光标控制,颜色修改,显示
  10. 利用 Android Keystore 系统 加密存储和