获取现有文件并将数据附加到现有文件中-U-SQL

Question

我们如何获取现有文件并将数据通过u-sql脚本附加到该文件中。

`DECLARE @ file1字符串=“ dailyfiles / daily / LATESTMODIFIEDFILENAME.csv”;

DECLARE @out字符串=“ /output/result.csv”;

@data = EXTRACT col1字符串，col2字符串，col3字符串，col4字符串FROM @ file1，@ file2使用Extractors.Csv（）;

将数据追加到现有文件代码中

Answer 1

几天前，我遇到了同样的问题。是一种解决方法，但对我的实施确实有帮助。

我遵循数据联合的相同逻辑，以获取具有更新值的最终结果：

https://www.purplefrogsystems.com/paul/2016/12/writing-a-u-sql-merge-statement/

希望这对您有所帮助！

Answer 2

恐怕U-SQL不支持，请参见以下线程：Append data in existing file in U-SQL。您可以对反馈link投反对票，以推动进度。

此外，作为解决方法，您可以使用ADLS Path-Update Rest api来实现附加。

首先，您需要调用action=append将其推送到服务器上未提交的缓冲区。

https://$STORAGE_ACCOUNT_NAME.dfs.core.windows.net/mydata/data/file1?action=append&position=0

一旦收到202接受，就可以调用action=flush并传递要刷新数据的位置。

https://$STORAGE_ACCOUNT_NAME.dfs.core.windows.net/mydata/data/file1?action=flush&position=13