Question

我已经完成了如下的hadoop工作：

hadoop jar VoteCount.jar / user / joy / District1 / user / joy / Result_District1

16/03/26 16:18:29 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
16/03/26 16:18:30 INFO Configuration.deprecation: session.id is deprecated. Instead, use dfs.metrics.session-id
16/03/26 16:18:30 INFO jvm.JvmMetrics: Initializing JVM Metrics with processName=JobTracker, sessionId=
16/03/26 16:18:30 WARN mapreduce.JobResourceUploader: Hadoop command-line option parsing not performed. Implement the Tool interface and execute your application with ToolRunner to remedy this.
16/03/26 16:18:30 INFO input.FileInputFormat: Total input paths to process : 10
16/03/26 16:18:30 INFO mapreduce.JobSubmitter: number of splits:10
16/03/26 16:18:30 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_local911715097_0001
16/03/26 16:18:30 INFO mapreduce.Job: The url to track the job: http://localhost:8080/
16/03/26 16:18:30 INFO mapred.LocalJobRunner: OutputCommitter set in config null
16/03/26 16:18:30 INFO output.FileOutputCommitter: File Output Committer Algorithm version is 1
16/03/26 16:18:30 INFO mapred.LocalJobRunner: OutputCommitter is org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter
16/03/26 16:18:30 INFO mapred.LocalJobRunner: Waiting for map tasks
16/03/26 16:18:30 INFO mapred.LocalJobRunner: Starting task: attempt_local911715097_0001_m_000000_0
16/03/26 16:18:30 INFO output.FileOutputCommitter: File Output Committer Algorithm version is 1
16/03/26 16:18:30 INFO util.ProcfsBasedProcessTree: ProcfsBasedProcessTree currently is supported only on Linux.
16/03/26 16:18:30 INFO mapred.Task:  Using ResourceCalculatorProcessTree : null
16/03/26 16:18:30 INFO mapred.MapTask: Processing split: hdfs://localhost:9000/user/joy/District1/booth-1.txt:0+70
16/03/26 16:18:30 INFO mapred.MapTask: (EQUATOR) 0 kvi 26214396(104857584)
16/03/26 16:18:30 INFO mapred.MapTask: mapreduce.task.io.sort.mb: 100
16/03/26 16:18:30 INFO mapred.MapTask: soft limit at 83886080
16/03/26 16:18:30 INFO mapred.MapTask: bufstart = 0; bufvoid = 104857600
16/03/26 16:18:30 INFO mapred.MapTask: kvstart = 26214396; length = 6553600
16/03/26 16:18:30 INFO mapred.MapTask: Map output collector class = org.apache.hadoop.mapred.MapTask$MapOutputBuffer
16/03/26 16:18:30 INFO mapred.LocalJobRunner: 
16/03/26 16:18:30 INFO mapred.MapTask: Starting flush of map output
16/03/26 16:18:30 INFO mapred.MapTask: Spilling map output
16/03/26 16:18:30 INFO mapred.MapTask: bufstart = 0; bufend = 110; bufvoid = 104857600
16/03/26 16:18:30 INFO mapred.MapTask: kvstart = 26214396(104857584); kvend = 26214360(104857440); length = 37/6553600

但我无法浏览这项工作，在我的浏览器中输入http://localhost:8080/时，它会继续拒绝连接，同时检查输出文件夹是否已通过以下命令创建：

    hadoop fs -ls /user/joy/Result_District1

显示已生成一个临时文件夹，未生成任何部分XXXXX文件。

我的hadoop配置如下：

等/ hadoop的/ HDFS-site.xml中

<configuration>
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>

等/ hadoop的/芯-site.xml中

 configuration>
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
</property>
</configuration>

Answer 1

尝试http://localhost:50070/访问HDFS。

好像你的工作没有正常运行。你能粘贴整个日志吗？

Answer 2

首先检查您的工作是否成功，您可以访问 http://localhost:50070/现在转到你在hadoop上运行时提到的目标文件夹。在该文件夹中，您必须拥有文件名＆＃34; _SUCCESS＆＃34;如果您在该文件夹中没有此文件，则表示您的工作不成功。

localhost：8080属于name node，因此如果您使用的是旧版本Hadoop 2.x，那么您可能会面临此类问题。因此，从50070检查您的工作状态会更好。

希望这能回答你的问题。如果没有，请分享您的详细日志，以便我更具体。

在本地运行hadoop作业的问题

2 个答案: