我正在从pyspark
代码中调用scala类。如何将SparkContext
传递给Scala
小学班级?
您可以在下面检查链接包含将SQLContext
对象传递给Scala参数化类。因此,我想以同样的方式将SparkContext
传递给scala
参数化的类。
How to use a Scala class inside Pyspark
Scala类代码:
class Item(val sc: SparkContext) {
def process = println("This process will call")
}
Python类调用代码:
simpleObject = sc._jvm.package_name.Item(**NEED TO PASS SPARKCONTEXT OBJECT HERE**)
simpleObject.process()
那么如何将SparkContext
传递给Item
类。
谢谢。