使用Intellij Idea搭建Spark开发环境

Intellij Idea下载地址： 

本文选择右下角的Community Ultimate版本进行下载安装 

本文使用的是MacOS

环境为：

JDK1.8.0_144

Scala2.10.4

在网上下载jdk和scala的安装包双击运行安装即可

注意：如果之后要将Scala文件打包成jar包并在Spark集群上运行的话，请确保Spark集群和打包操作所在机器 环境保持一致！不然运行jar包会出现很多异常

要使用idea开发Spark程序首先要安装Scala插件 

进入idea主界面

在线安装： 

选择Plugins 

现在可以用idea来新建一个scala项目 

New Project->Scala

由于项目已存在，所以不做操作，我的项目结构为：

演示本人其中一个Spark Example，RDDExample.scala

package com.jinfeng.spark.examples
 org.apache.spark.SparkConf, SparkContext
/**
* Created by WangJinfeng on /6/9.
*/
object RDDExample 
def mainargs: ArrayString: Unit  
val conf  new SparkConf.setAppName.setMaster
val sc  new SparkContextconf
val rdd1  sc.parallelize to , 
val rdd2  rdd1.mapx  x * 
rdd2.collect.foreachprintln

右键点击RUN/DUBUG

执行结果如下图所示：

遇到问题及解决方案：

问题：

解决方案：

选择Preferences，找到Java Compiler，将Target bytecode version 改为上述问题所需要的1.8即可。