pig.temp.dir属性是强制性的吗?

时间:2016-03-17 05:11:13

标签: hadoop apache-pig hdfs

Pig Execution Mode = Local 

在这种情况下,我们需要设置pig.temp.dir = / temp属性,这个/ temp文件夹需要存在于HDFS中。

注意:

存储中间结果

Pig将MapReduce作业之间生成的中间数据存储在HDFS上的临时位置。使用前,此位置必须已存在于HDFS上。可以使用pig.temp.dir属性配置此位置。该属性的默认值为“/ tmp”,与Pig 0.7.0及更早版本中的硬编码位置相同。

根据:http://pig.apache.org/docs/r0.14.0/start.html#req 存储中间结果标题

1 个答案:

答案 0 :(得分:0)

您仍然需要一些临时目录,但它必须存在于您的本地文件系统中。在本地模式下,Pig(和MapReduce)默认在本地文件系统上执行所有操作。