来自S3的猪拉丁负载（文件夹扩展）

Question

我正在尝试将带有数据源的负载用作S3存储桶。

load s3n://hourly-logprocessing/{2013090100,2013100501}/??????_0.gz' using some loader()

不起作用。

load s3n://hourly-logprocessing/{201309????}/??????_0.gz using some loader()

不起作用。

我得到了这个例外。

  

引起：java.lang.IllegalArgumentException：无法创建路径   从一个空字符串           在org.apache.hadoop.fs.Path.checkPathArg（Path.java:91）           在org.apache.hadoop.fs.Path。（Path.java:99）           在org.apache.hadoop.fs.Path。（Path.java:58）           在org.apache.hadoop.fs.s3native.NativeS3FileSystem.listStatus（NativeS3FileSystem.java:498）           在org.apache.hadoop.fs.FileSystem.listStatus（FileSystem.java:1341）           在org.apache.hadoop.fs.FileSystem.listStatus（FileSystem.java:1418）           在org.apache.hadoop.fs.FileSystem.globPathsLevel（FileSystem.java:1602）           在org.apache.hadoop.fs.FileSystem.globStatusInternal（FileSystem.java:1539）

仅当我使用单个文件夹时才有效。

load s3n://some-folder/2013090100/??????_0.gz

猪如何扩张。任何帮助将不胜感激。

Answer 1

• 首先，我没有尝试你的例子，懒惰我，但这适用于我的'加载'语句： 'S3N：// SOME_BUCKET / 20 [0-9] [0-9] - [0-9] [0-9] - [0-9] [0-9] -23 - * mystuff_v14 *'

• 加载命令后不要忘记单引号（示例中缺少）