如何将DSX Notebook迁移到Spark 2.0？

Question

它目前与Spark 1.6有关，但我想使用SparkSession，以及Spark中的其他新功能。如何在不将每个单元格复制到新的notebooK的情况下进行迁移？

Answer 1

如果您正在寻找从Spark 1.6到spark 2.0的自动代码转换，我认为不可用。

您可以在同一个笔记本中进行更改，只需将内核更改为spark 2.0即可使用spark 2.0 spark服务运行。

或者，如果您不想触摸旧笔记本，请复制它。

就手动进行更改而言，您需要参考pyspark或scala编程指南来转换代码。

http://spark.apache.org/docs/latest/programming-guide.html

谢谢， 查尔斯。