如何在Pig中生成唯一(随机)输出路径?

时间:2016-06-29 08:56:59

标签: amazon-s3 apache-pig

是否可以生成一个唯一的输出文件夹(s3存储桶),可能是通过联系某种随机数?

1 个答案:

答案 0 :(得分:1)

对于这种情况,这是我的解决方法,是连接当前时间戳:

%declare cts `date +"%s"`
STORE data INTO '/path/$cts' USING PigStorage();

我不熟悉s3,但上面的例子显示了连接随机字符串以获得唯一路径的想法。