我们一直在尝试将Nutch 1.7与Hadoop 2.6.0一起使用。
安装完成后,我们尝试向Nutch提交作业,我们收到以下错误:
INFO jvm.JvmMetrics: Cannot initialize JVM Metrics with processName=JobTracker, sessionId= - already initialized Exception in thread "main" java.lang.IllegalArgumentException: Wrong FS: hdfs://master:9000/user/ubuntu/crawl/crawldb/436075385, expected: file:///
使用以下命令提交作业:
./crawl urls crawl_results 1
另外,我们检查了core-site.xml中的fs.default.name设置是否有hdfs协议:
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
在从文件读取输入URL并尝试将数据插入爬网数据库之后,将爬行命令发送到Nutch时会发生这种情况。
任何见解都将不胜感激。
提前致谢。