Question

我在配置了Hadoop的群集中安装了SpatialHadoop。我运行了命令：

shadoop generate test.rects size:1.gb shape:rect mbr:0,0,1000000,1000000

它工作并生成了test.rects文件。但是当我执行命令时：

shadoop index test.rects sindex:grid test.grid shape:rect

发生以下情况，并且不会生成文件：

INFO mapreduce.JobResourceUploader：禁用路径的擦除编码：   /tmp/hadoop-yarn/staging/root/.staging/job_1543851353559_0004

2018-12-03 15：50：14,800 INFO mapreduce.JobSubmitter：清理   暂存区   /tmp/hadoop-yarn/staging/root/.staging/job_1543851353559_0004

java.lang.NoSuchFieldError：日志
     在
  edu.umn.cs.spatialHadoop.mapred.SpatialInputFormat.listStatus（SpatialInputFormat.java:161）
     在
  org.apache.hadoop.mapred.FileInputFormat.getSplits（FileInputFormat.java:325）
     在
  org.apache.hadoop.mapreduce.JobSubmitter.writeOldSplits（JobSubmitter.java:341）
     在
  org.apache.hadoop.mapreduce.JobSubmitter.writeSplits（JobSubmitter.java:332）
     在
  org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal（JobSubmitter.java:203）

在org.apache.hadoop.mapreduce.Job $ 11.run（Job.java:1570）

在org.apache.hadoop.mapreduce.Job $ 11.run（Job.java:1567）

在java.security.AccessController.doPrivileged（本机方法）

在javax.security.auth.Subject.doAs（Subject.java:422）
     在
  org.apache.hadoop.security.UserGroupInformation.doAs（UserGroupInformation.java:1729）

在org.apache.hadoop.mapreduce.Job.submit（Job.java:1567）

在org.apache.hadoop.mapred.JobClient $ 1.run（JobClient.java:576）

在org.apache.hadoop.mapred.JobClient $ 1.run（JobClient.java:571）

在java.security.AccessController.doPrivileged（本机方法）

在javax.security.auth.Subject.doAs（Subject.java:422）
     在
  org.apache.hadoop.security.UserGroupInformation.doAs（UserGroupInformation.java:1729）
     在
  org.apache.hadoop.mapred.JobClient.submitJobInternal（JobClient.java:571）

在org.apache.hadoop.mapred.JobClient.submitJob（JobClient.java:562）

在org.apache.hadoop.mapred.JobClient.runJob（JobClient.java:873）
     在
  edu.umn.cs.spatialHadoop.operations.Sampler.sampleMapReduceWithRatio（Sampler.java:211）
     在
  edu.umn.cs.spatialHadoop.operations.Sampler.sample（Sampler.java:543）
     在
  edu.umn.cs.spatialHadoop.indexing.Indexer.createPartitioner（Indexer.java:302）
     在
  edu.umn.cs.spatialHadoop.indexing.Indexer.createPartitioner（Indexer.java:239）
     在
  edu.umn.cs.spatialHadoop.indexing.Indexer.indexMapReduce（Indexer.java:196）

在edu.umn.cs.spatialHadoop.indexing.Indexer.index（Indexer.java:430）

在edu.umn.cs.spatialHadoop.indexing.Indexer.main（Indexer.java:467）

在sun.reflect.NativeMethodAccessorImpl.invoke0（本机方法）
     在
  sun.reflect.NativeMethodAccessorImpl.invoke（NativeMethodAccessorImpl.java:62）
     在
  sun.reflect.DelegatingMethodAccessorImpl.invoke（DelegatingMethodAccessorImpl.java:43）

在java.lang.reflect.Method.invoke（Method.java:498）
     在
  org.apache.hadoop.util.ProgramDriver $ ProgramDescription.invoke（ProgramDriver.java:71）

在org.apache.hadoop.util.ProgramDriver.run（ProgramDriver.java:144）
     在
  org.apache.hadoop.util.ProgramDriver.driver（ProgramDriver.java:152）

在edu.umn.cs.spatialHadoop.operations.Main.main（Main.java:137）

功能影子索引（Hadoop上的SpatialHadoop框架）

0 个答案: