来自 APP下载 2019-09-10 15:00 的文章
当前位置: 新萄京娱乐手机版 > APP下载 > 正文

3开发环境搭建和开发示例

【原创】Helenykwang 于2018-01-13 18:10:18编写

永不maven,不用sbt,只需七个库

一、情状表达

集群:Spark 2.1.2 + hadoop2.3

开发机OS:win7

Jdk 1.8.0_151

下载jre即可 http://www.oracle.com/technetwork/java/javase/downloads/index.html

注:JDK是一个阳台湾特务定的软件,有针对性Windows,Mac和Unix系统的不如的安装包。 能够说JDK是JRE的超集,它饱含了JRE的Java编译器,调节和测量试验器和大旨类

scala 2.11.8 http://www.scala-lang.org/download/

IntelliJ IDEA 2017.3

spark 源码spark-2.1.2-bin-hadoop2.3

二、情况搭建

1. 中坚配备

安装java、scala,配置情况变量JAVA_HOME、SCALA_HOME为对应安装路线

PATH前边增添%JAVA_HOME%jrebin; %SCALA_HOME%bin

【WIN】%JAVA_HOME%

【Linux】$JAVA_HOME

只顾:scala 安装路线不能够有空格,不然会报错

>>找不到或无法加载主类scala.tools.nsc.MainGenericRunner

查实规范

张开CMD,分别施行java、scala命令。

2. 安装配置英特尔liJ IDEA 2017.3

初阶化后,在file –settings 中增加scala插件,重启

三、开拓示范

1. 新建筑工程程

实在这里选个java工程就行了,不用搞那么复杂,记住主纵然重视库java、scala、spark源码库增添好就行。

下图展示了创立工程时增加java-sdk、scala-sdk的历程。

创办一些必备的目录,作者的demo的目录树如下:

在scala目录右键mark Directory as -- Source Root

2. 增进spark源码依赖

从File – Project Structure 走入,增添Lib,按下图操作截止后,点击apply – ok

文件树的表面库会并发以下七个:分别是java、spark、scala【重点重申唷~ 三者缺一不可,其余随便】

3. 编写程序

新建二个scala文件斯Parker德姆o.scala,代码如下:

package demo

importorg.apache.spark._

objectSparkDemo{

  def main(args: Array[String]): Unit = {

        val masterUrl = "local[1]"

        val sparkconf = newSparkConf().setAppName("helenApp").setMaster(masterUrl)

        //spark配置,提议保留setMaster(local)

        //调试的时候须求,在实际集群上跑的时候可在命令行自定义

        val sc = new SparkContext(sparkconf)

        val rdd=sc.parallelize(List(1,2,3,4,5,6)).map(_*3)  //将数组(1,2,3,4,5,6)分别乘3

      rdd.filter(_>10).collect().foreach(println)  //打字与印刷大于10的数字

        println(rdd.reduce(_+_))  //打印 和

        println("hello world")  // demo必备的一句代码!!! [认真脸]

  }

}

那会儿,scala编辑分界面大概出现这句话,点击setup scala SDK就可以了。

依赖库增添成功的视察标准是,import org.apache.spark._不报错。

点击天青三角形,run~

在console分界面常常输出!(*^__^*)

4. 打包jar包

依然是从老朋友File–Project Structure 步入,在Artifacts下增添jar。

留神:打包的jar包没有要求把spark源码也搞进去的,因为集群上笔者就有spark代码,所以就留给以下那五个文本就能够~~~ 点击apply –ok

在主界面,Build—Build Artifacts。先河工编织译~~~ 编译OK后会多出贰个out目录,里面有最终jar包

翻看主类,MANIFEST.MF文件内容如下:

Manifest-Version:1.0

Main-Class:demo.SparkDemo

5. 集群上运转jar包

Jar包放到/home/hadoop目录下

>>spark-submit  --class demo.SparkDemo--master spark://:7077 project_name.jar

证实:--class <主类名> 最后跟的参数是我们的jar包。--master内定了集群master,中间还足以自定义一些spark配置参数,比如:

--num-executors 100

      --executor-memory6G

      --executor-cores4

      --driver-memory1G

      --confspark.default.parallelism=1000

      --confspark.storage.memoryFraction=0.5

      --confspark.shuffle.memoryFraction=0.3

集群上运转成功~~~

总结

实际上看了比很多什么maven工程、scala工程创设情势,其实千篇一律,入眼无非是java、spark、scala的信赖搞好,那才是骨干难题。

专一版本一致性,包括:

· 开拓机和集群的spark源码版本一样

· 开拓IDE中scala插件和系统安装的scala和集群上scala版本同样

· scala 和spark 版本相称。(spark2.x 比较 1.x 有无数不一,请使用scala 2.11+版本)

===================分割线=======================

踩过的坑 ~ (๑ŐдŐ)b,迎接小同伙们和笔者分享蒙受的难点 (*^__^*) ~

指鹿为马集锦

阴差阳错意况:

命令行运营scala时,找不到或不能够加载主类scala.tools.nsc.MainGenericRunner

阴差阳错原因:

scala安装目录出现了空格。

标题一下子就解决了:

将Scala 移动到未有空格的文件夹下。重新恢复设置SCALA_HOME。文件消除。

出错境况:

编写程序时,调用rdd.saveAsTextFile 报错NullPointerException

阴差阳错原因:

和hadoop文件输出配置有关,下个补丁,配置一下就可以

化解方法:

1)下载文件winutils.exe

2) 将此文件放置在有个别目录下,比如D:hadoopbin中。

3)在scala程序的一方始注脚:System.setProperty("hadoop.home.dir","D:\hadoop\")

阴差阳错意况:

maven初始化学工业程时,连接https://repo.maven.apache.org/maven2过期战败

阴差阳错原因:

PC互连网本身的题材。无法访谈外网。

杀鸡取卵办法:

应用maven离线方式,手动把看重库导入 <客商目录>\.m\ repository

Q:什么日期必要maven离线方式吗?

A:未有互连网,唯有本地库,又是用maven来治本项目,在编写翻译或许下载第三方Jar的时候,老是去中心仓库上活动下载,导致出难题。

1)    全局设置Work offline 如下图所示

2)    编辑 <客户目录>\.m\ settings.xml,写一行:<offline> true</offline>

本文由新萄京娱乐手机版发布于APP下载,转载请注明出处:3开发环境搭建和开发示例

关键词: