我想根据行数使用U-SQL输出多个文件

Question

我想根据行数将单个表输出到U-SQL中的多个文件中。

  

如果我的表有500行，那么我必须在每个文件中生成5个文件或100行。

关注帖子U-SQL Output in Azure Data Lake

Answer 1

为了根据行数生成单独的文件，您必须向每行添加ROW_NUMBER()。然后生成一个脚本（例如使用U-SQL，请参阅U-SQL Output in Azure Data Lake作为示例），为每个行区域创建输出语句。请注意，脚本生成文件可能使用带有SELECT COUNT(*) FROM @data的内部联接来生成正确数量的OUTPUT语句。您还希望生成的脚本中的第一个语句是将ROW_NUMBER()添加到随后输出的行集的语句。

生成执行该操作的脚本后，您可以下载并提交。