我可以访问Pig中的本地文件吗？

Question

我有一个名为blacklist.xml的文件，该文件的每一行都包含一个绝对路径，多个路径在此文件中。该文件存储在/ Users / ABC /

我是否知道无论如何我都可以从本地目录（/ Users / ABC /）加载此文件而不是从HDFS加载？谢谢！

Answer 1

您可以使用命令行选项-x local以本地模式运行Pig。 Pig只能同时使用单个文件系统 - 如果您希望使用hadoop实例，将临时和输出数据存储到HDFS，那么所有输入文件也需要在HDFS上。

例外情况是，如果您使用本地文件作为参数集合，在这种情况下，您应该查找如何从文件中读取参数。