Question

我自己在学习Hadoop所以我不确定我问的问题是否是一个问题。当我运行命令pig -x local以在本地运行它时，我收到以下消息：


    15/10/05 15:23:28 INFO pig.ExecTypeProvider: Trying ExecType : LOCAL
    15/10/05 15:23:28 INFO pig.ExecTypeProvider: Picked LOCAL as the ExecType
    2015-10-05 15:23:28,830 [main] INFO  org.apache.pig.Main - Apache Pig version 0.15.0 (r1682971) compiled Jun 01 2015, 11:44:35
    2015-10-05 15:23:28,831 [main] INFO  org.apache.pig.Main - Logging error messages to: /home/nkhl/pig_1444038808829.log
    2015-10-05 15:23:29,050 [main] INFO  org.apache.pig.impl.util.Utils - Default bootup file /home/nkhl/.pigbootup not found
    2015-10-05 15:23:29,333 [main] INFO  org.apache.hadoop.conf.Configuration.deprecation - fs.default.name is deprecated. Instead, use fs.defaultFS
    2015-10-05 15:23:29,334 [main] INFO  org.apache.hadoop.conf.Configuration.deprecation - mapred.job.tracker is deprecated. Instead, use mapreduce.jobtracker.address
    2015-10-05 15:23:29,335 [main] INFO  org.apache.pig.backend.hadoop.executionengine.HExecutionEngine - Connecting to hadoop file system at: file:///
    2015-10-05 15:23:29,562 [main] INFO  org.apache.hadoop.conf.Configuration.deprecation - io.bytes.per.checksum is deprecated. Instead, use dfs.bytes-per-checksum

在我的在线导师的屏幕上看起来不一样，所以我有点困惑。

我最关心的是deprecation部分。请有人帮帮我吗？它试图说什么？别误会我的意思，一切正常。 GRUNT shell加载，事情执行得很好。我只是想知道那是什么意思。

这是一台Ubuntu机器。

谢谢！

Answer 1

如果您正在使用快速测试，那么将猪作为本地运行是很好的AFAIK。就像在UDF等中显示sysout一样。上面的警告你可以放心地忽略。它说不赞成在conf-site.xml中设置的一些变量。

您可以通过编辑

关闭这些参数

log4j.logger.org.apache.hadoop.conf.Configuration.deprecation

在log4j.properties文件中。

Answer 2

您设置了一些与Hadoop相关的变量，例如HADOOP_HOME或HADOOP_PREFIX或HADOOP_CONF_DIR，如果您在本地模式下运行Pig，则不需要这些变量。

unset HADOOP_HOME
unset HADOOP_PREFIX
unset HADOOP_CONF_DIR

贬值并不可怕。它们提醒人们，代码正在调用最终将在未来版本中消失的内容。这些特定的弃用是由Hadoop 1与Hadoop 2之间的差异引起的.Pig与两个版本兼容。如果您碰巧使用Hadoop 1.2.1而不是2.x，则不会看到警告。这是因为Pig首先检查Hadoop 1值。

如果您有兴趣了解更多信息，可以查看Pig源代码。 https://github.com/apache/pig/blob/release-0.15.0/src/org/apache/pig/backend/hadoop/executionengine/HExecutionEngine.java#L219-L222

PIG命令执行

2 个答案: