我们是否能够使用Snappy数据更新Azure Data Lake中的记录?或者只是Azure数据湖附加?

时间:2017-03-07 06:51:38

标签: azure apache-spark-sql azure-data-lake snappydata

我目前正在使用snappy数据集成的azure数据湖,我对snappy数据进行了查询,我们能够将snappy数据中的数据更新为azure数据湖存储,或者我们只能附加到我在论坛中搜索了azure数据湖存储,但我无法找到适当的解决方案,如果有人知道该查询,请分享,谢谢。

2 个答案:

答案 0 :(得分:2)

Azure Data Lake Store与HDFS非常相似,只是一个附加商店。您可以附加到文件或完全替换它。无法更新现有文件。

答案 1 :(得分:1)

我通过使用Azure Data Lake表作为输入和输出之间的中间点,在USQL中实现了MERGE样式行为。查看我的博客文章,其中的代码显示了我是如何通过一系列连接来完成的。

https://www.purplefrogsystems.com/paul/2016/12/writing-a-u-sql-merge-statement/

这将使您在输出中添加行为。