需要帮助猪

Question

我正在执行一个Pig脚本，它从目录中读取文件，执行一些操作并存储到某个输出目录。在输出目录中我得到一个或多个＆＃34;部分＆＃34;文件，一个_SUCCESS文件和一个_logs目录。我的问题是：

1. 有没有办法控制输出目录中生成的文件名（执行STORE命令时）。具体来说，我不希望这些名字是＆＃34; part -.......＆＃34;。我希望Pig根据我指定的文件名模式生成文件。
2. 有没有办法压制_SUCCESS文件和_log目录？基本上我不希望在输出目录中生成_SUCCESS和_logs。

此致 Biswajit

Answer 1

1. 请参阅this post。
2. 要删除_SUCCESS，请使用SET mapreduce.fileoutputcommitter.marksuccessfuljobs false;。我不是100％确定如何删除_logs，但您可以尝试SET pig.streaming.log.persist false;。