将hadoop配置传递给Nutch抓取命令

时间:2018-10-05 10:00:26

标签: hadoop nutch

我希望能够在分布式模式下运行Apache Nutch抓取命令时指定映射器,化简器和作业队列的数量。这是我尝试过的方法,但是没有用:

runtime/deploy/bin/crawl -D mapreduce.map.memory.mb=4000 -D mapreduce.reduce.memory.mb=2000 -D mapred.job.queue.name=some-queue -i -D solr.server.url=http://http://my-solr-server:8983/solr/my-collection -s /user/me/seed /user/me/crawl-dir 1

如何将hadoop参数传递给命令?

0 个答案:

没有答案