Question

我每天从数据提供商处收到文件转储。有时我们会收到空文件（20字节）。有没有办法自动避免处理或跳过这些文件？

我试过了：

USING Extractors.Csv(skipFirstNRows:1, silent:true);

但我似乎得到了一个与我认为是空文件有关的顶点故障。

Answer 1

我们最近添加了一个FILE.LENGTH属性作为计算虚拟列，您可以使用它来过滤掉特定大小的文件。

例如，以下内容只应对大于20字节的文件进行操作：

@data = 
  EXTRACT 
          // ... columns to extract
        , file_sz = FILE.LENGTH()
  FROM "/mydata/{*}"
  USING Extractors.Csv();

@res =
  SELECT *
  FROM @data
  WHERE file_sz > 20;

U-SQL忽略空文件

1 个答案: