当我尝试使用generate命令生成URL时,我收到以下错误:
GeneratorJob:java.lang.RuntimeException:job failed:name = generate:1357474131-234134646,jobid = job_local_0001 在org.apache.nutch.util.NutchJob.waitForCompletion(NutchJob.java:54) 在org.apache.nutch.crawl.GeneratorJob.run(GeneratorJob.java:191) 在org.apache.nutch.crawl.GeneratorJob.generate(GeneratorJob.java:213) 在org.apache.nutch.crawl.GeneratorJob.run(GeneratorJob.java:241) 在org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65) 在org.apache.nutch.crawl.GeneratorJob.main(GeneratorJob.java:249)
generate
,fetch
和parse
工作正常,但updatedb
有时会出现此错误:
线程“main”中的异常java.lang.RuntimeException:作业失败:name = update-table,jobid = job_local_0001 在org.apache.nutch.util.NutchJob.waitForCompletion(NutchJob.java:54) 在org.apache.nutch.crawl.DbUpdaterJob.run(DbUpdaterJob.java:98) 在org.apache.nutch.crawl.DbUpdaterJob.updateTable(DbUpdaterJob.java:105) 在org.apache.nutch.crawl.DbUpdaterJob.run(DbUpdaterJob.java:119) 在org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65) 在org.apache.nutch.crawl.DbUpdaterJob.main(DbUpdaterJob.java:123)
现在,它一直在给生成作业失败。可能是什么问题?可以是mysql问题吗?
答案 0 :(得分:0)
上述错误是由于我安装的服务器上的分区空间不足造成的。在Insufficient space for shared memory file when i try to run nutch generate command
查看答案