Question

我发现SparkSession没有.parallelize()方法，我们是否需要再次使用SparkContext来创建RDD？如果是这样，那么同时创建SparkSession＆amp; SparkContext在单个程序中是否可取？

Answer 1

构建SparkSession之后，您可以获取使用它创建的基础SparkContext，如下所示：

让我们考虑SparkSession已经定义：

val sc = spark.sparkContext

您现在可以获得SparkContext：

var box = null;

$(document).ready(function() {

    $(".check").click(function() {


        box = this.id;

        $(".check").each(function() {
            if ( this.id == box )
            {
                this.checked = true;
                //$("#hidden").show();
                var cval =$(this).val();
                document.getElementById("get").innerHTML =cval;
            }
            else
            {
                this.checked = false;

            };        
        });
    });    
});

Answer 2

SparkSession类中有spark Context方法

val data = spark.sparkContext.parallelize(Seq(1,2,3,4))
data: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[0] at parallelize at <console>:23

在Spark 2.0中使用SparkSession时的parallelize（）方法

2 个答案: