Spark作业如何在无管理权限的集群部署Python或JD
![Spark作业如何在无管理权限的集群部署Python或JDK](/uploads/allimg/c181009/153Z9603961130-1VZ5.jpg)
如何在没有管理权限的集群上部署 Python
由于某些原因,我们的程序可能会使用到 Anaconda。Anaconda 是一个 Python 发行版,用于科学计算和信号处理等领域,支持 Linux, Mac, Windows, 包含了众多流行科学计算、数据分析等Python 包。其中包含大量第三方工具包,简单来说,就是安装了Anaconda,就安装了python、conda和一般可能用到的numpy、scipy、pandas等等常见的科学计算包,而无需再单独下载配置。
但是我们的集群上面可能并没有安装我们需要的 Anaconda,而且悲剧的是,我们也没有集群节点的管理权限!所以我们无法在集群上安装我们需要的 Anaconda,这时候你提交 Spark 作业会出现了以下的异常:
17/11/30 09:39:35 WARN TaskSetManager: Lost task 0.0 in stage 0.0 (TID 0, node1.iteblog.com): java.io.IOException: Cannot run program "/home/iteblog/anaconda2/bin/python": error=2, No such file or directory
at java.lang.ProcessBuilder.start(ProcessBuilder.java:1048)
at org.apache.spark.api.python.PythonWorkerFactory.startDaemon(PythonWorkerFactory.scala:161)
at org.apache.spark.api.python.PythonWorkerFactory.createThroughDaemon(PythonWorkerFactory.scala:87)
at org.apache.spark.api.python.PythonWorkerFactory.create(PythonWorkerFactory.scala:63)
at org.apache.spark.<span class="wp_keywordlink_affiliate"><a href="https://www.iteblog.com/archives/tag/spark/" title="" target="_blank" data-original-title="View all posts in Spark">Spark</a></span>Env.createPythonWorker(SparkEnv.scala:134)
at org.apache.spark.api.python.PythonRunner.compute(PythonRDD.scala:101)
at org.apache.spark.api.python.PythonRDD.compute(PythonRDD.scala:70)
at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:306)
at org.apache.spark.rdd.RDD.iterator(RDD.scala:270)
at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:66)
at org.apache.spark.scheduler.Task.run(Task.scala:89)
at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:214)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
at java.lang.Thread.run(Thread.java:745)
Caused by: java.io.IOException: error=2, No such file or directory
at java.lang.UNIXProcess.forkAndExec(Native Method)
at java.lang.UNIXProcess.<init>(UNIXProcess.java:187)
at java.lang.ProcessImpl.start(ProcessImpl.java:134)
at java.lang.ProcessBuilder.start(ProcessBuilder.java:1029)
... 14 more
很显然,上面爆出的 node1.iteblog.com 节点的 /home/iteblog/anaconda2/bin/python 路径下找不到我们需要的 Python!因为我们只在客户机的 /home/iteblog/anaconda2/bin/python 下面安装配置好 Python,所以肯定会出现上面的异常。
下面我来介绍如何解决这个问题。我们只需要将客户机上面部署好的 anaconda 打包:
$ tar -zcf anaconda2.tar.gz anaconda2
然后依次操作如下:
export PYSPARK_PYTHON=./anaconda2.tar.gz/anaconda2/bin/python
$SPARK_HOME/bin/pyspark --conf "spark.yarn.dist.archives=/home/iteblog/anaconda2.tar.gz" \
--conf "spark.executorEnv.PYSPARK_PYTHON=./anaconda2.tar.gz/anaconda2/bin/python" \
--master yarn-client
就这么简单,现在我们在所有运行这个作业的 Work 节点上安装了 anaconda!现在我们就可以在 Work 节点上使用我们需要的 anaconda 版本。是不是很酷啊。另外,在 yarn-client 模式,我们通过指定 spark.yarn.appMasterEnv.PYSPARK_PYTHON=./anaconda2.tar.gz/anaconda2/bin/python 也是没问题的。
上面例子中,我们通过指定 spark.yarn.dist.archives 配置,将 Anaconda 的安装包分发到所有 Executor 的工作目录下;当 tar.gz 格式的压缩包到达 Executor 节点上,Executor会自动解压这个压缩包,假设 anaconda2.tar.gz 解压后的目录为 anaconda2,这时候我们的 Python 路径就是: ./anaconda2.tar.gz/anaconda2/bin/python,所以我们的程序就没问题了。
如何在没有管理权限的集群上部署 Java
在没有管理权限的集群上部署 Java,原理和上面的一致。 这里假设我们需要使用 jdk1.8.0_77, 而我们的集群节点上并没有安装这个版本的 JDK,这时候我们可以先压缩好 jdk1.8.0_77:
$ tar -zcf jdk1.8.0_77.tar.gz jdk1.8.0_77
然后在提交 Spark 作业的时候设置如下:
$SPARK_HOME/bin/spark-submit --master yarn-cluster \
--conf "spark.yarn.dist.archives=/home/iteblog/jdk1.8.0_77.tar.gz" \
--conf "spark.executorEnv.JAVA_HOME=./jdk1.8.0_77.tar.gz/jdk1.8.0_77" \
--conf "spark.yarn.appMasterEnv.JAVA_HOME=./jdk1.8.0_77.tar.gz/jdk1.8.0_77" \
xxxxx
这样这个提交的作业使用的 Java 版本就是 jdk1.8.0_77!
![微信公众号](/skin/images/weixin3.png)
时间:2018-10-09 22:41 来源: 转发量:次
声明:本站部分作品是由网友自主投稿和发布、编辑整理上传,对此类作品本站仅提供交流平台,转载的目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,不为其版权负责。如果您发现网站上有侵犯您的知识产权的作品,请与我们取得联系,我们会及时修改或删除。
相关文章:
- [数据挖掘]底层I/O性能大PK:Python/Java被碾压,Rust有望取代
- [数据挖掘]RedMonk语言排行:Python力压Java,Ruby持续下滑
- [数据挖掘]不得了!Python 又爆出重大 Bug~
- [数据挖掘]Spark 迁移到 K8S 在有赞的实践与经验
- [数据挖掘]TIOBE 1 月榜单:Python年度语言四连冠,C 语言再次
- [数据挖掘]TIOBE12月榜单:Java重回第二,Python有望四连冠年度
- [数据挖掘]这个可能打败Python的编程语言,正在征服科学界
- [数据挖掘]Spark Operator 初体验
- [数据挖掘]如何实现Spark on Kubernetes?
- [数据挖掘]2021年编程语言趋势预测:Python和JavaScript仍火热,
相关推荐:
网友评论: