如何导出完整结果Databricks Azure

Question

我正在使用命令“ display”通过完整的dowload结果选项从数据块中手动导出数据。 例子

display (predictions.select ("productid", "prediction"))

但是它只返回1,000,000，我还有很多记录。 DataBricks在导出完整结果方面有什么限制吗？

如何下​​载所有结果？

Answer 1

是的，数据块仅显示有限的数据帧。它允许您像csv一样下载数据，但我想它也很有限。您可以使用以下方法将数据框另存为表：

predictions.select("productid", "prediction").write.saveAsTable("predictions")

然后您可以加载：

predictions = spark.table('predictions')