我需要知道从pyspark程序将参数传递到jar文件的方法。我知道我们可以设置spark上下文并将jar文件添加到上下文中,但是有一种方法可以将参数传递给这些jar文件作为输入。
例如: 可以说我有一个jar文件,其中包含带有一些输入参数的类。
我可以使用以下设置火花上下文
from pyspark import SparkConf, SparkContext
conf = SparkConf().set("spark.jar", "/path/to.jar")
sc = SparkContext( conf=conf)
但是如果我想使用此pyspark脚本将参数传递到此jar文件中,有没有办法做到这一点。
请帮助