由于SparkSession是唯一的入口点，为什么SparkContext仍然可用？

Question

由于SparkSession是唯一的入口点，为什么SparkContext仍然可用？将来会不推荐使用SparkContext。

Answer 1

如果有问题“将来会否弃用SparkContext？” ，那么我的答案将是它取决于Spark的进一步发展。

如果您的问题是“为什么不建议在spark-shell中使用它？”，那么我的答案是不是每个人都使用Dataframes / {{1 }}。 此外，在Datasets内使用Datasets。查看用于为RDDs源构建Relation的{​​{3}}：您会注意到它返回了Dataframe，以及对RDD的操作此时可能需要使用RDD。

您的帖子中的语句“由于SparkSession是唯一的入口点” 是错误的。除了SparkContext和SparkSession，还有SparkContext用于StreamingContext。

我不确定我的答案是否清楚，但是我已经尝试在Spark Streaming中用不同的contexts来向您说明情况：他们所有人都有不同的目的，没有什么可做的不推荐使用。