如何在Python Web App中运行Spark-Submit

时间:2019-06-18 07:19:06

标签: python python-2.7 apache-spark spark-submit

我正在创建一个python Web应用程序,我想在其中运行以下spark-submit命令。

./bin/spark-submit --class "com.ibm.hil.spark.KOLGoldenGen" 
./lib/runprocess.jar  hdfs://mn-002.south:8020/inputDir hdfs://mn- 
002.south:8020/outputDir  csv 2>&1 | tee sparksubmitsample.log

JAR:runprocess.jar是从scala文件构建的。

我通常通过命令行火花命令提交。有什么方法可以从python Web应用程序运行此spark-submit。

0 个答案:

没有答案