如何使用pyspark以SparkContext作为参数调用Scala主类

时间:2019-07-10 10:03:02

标签: python scala pyspark

我正在从pyspark代码中调用scala类。如何将SparkContext传递给Scala小学班级?

您可以在下面检查链接包含将SQLContext对象传递给Scala参数化类。因此,我想以同样的方式将SparkContext传递给scala参数化的类。

How to use a Scala class inside Pyspark

Scala类代码:

class Item(val sc: SparkContext) {
  def process = println("This process will call")
}

Python类调用代码:

simpleObject = sc._jvm.package_name.Item(**NEED TO PASS SPARKCONTEXT OBJECT HERE**)
simpleObject.process()

那么如何将SparkContext传递给Item类。

谢谢。

0 个答案:

没有答案