Azure数据块中的ML Spark作业

Question

当前，我们在Azure HDInsight群集（版本：HDI 3.6）中使用ML pyspark作业。是否可以在不做太多更改的情况下在Azure Databricks中使用相同的pyspark作业？

谢谢！

Answer 1

我会说是，但请考虑以下事项：

• 确保HDInsight群集的Python和Spark版本与为群集选择的Databricks runtime类似或兼容。
• 您是否正在使用任何外部库？如果是，import it到您的工作区，并将其附加到群集。
• 您要使用哪个数据源？您可能必须将数据源安装到databricks工作区中，例如，安装blob存储（https://docs.databricks.com/spark/latest/data-sources/azure/azure-storage.html#mount-azure-blob-storage-containers-with-dbfs）

希望此信息对您有帮助

此致

胡安