通过独立的pyspark程序运行JAR文件

时间:2019-10-10 18:54:44

标签: python-3.x pyspark executable-jar

我需要知道从pyspark程序将参数传递到jar文件的方法。我知道我们可以设置spark上下文并将jar文件添加到上下文中,但是有一种方法可以将参数传递给这些jar文件作为输入。

例如: 可以说我有一个jar文件,其中包含带有一些输入参数的类。

我可以使用以下设置火花上下文

from pyspark import SparkConf, SparkContext
conf = SparkConf().set("spark.jar", "/path/to.jar")
sc = SparkContext( conf=conf)

但是如果我想使用此pyspark脚本将参数传递到此jar文件中,有没有办法做到这一点。

请帮助

0 个答案:

没有答案