Stormcrawler没有使用Elasticsearch索引内容

时间:2017-11-10 00:43:42

标签: web-crawler stormcrawler

使用Stormcrawler时,它是对Elasticsearch的索引,而不是内容。

Stormcrawler与'origin / master'https://github.com/DigitalPebble/storm-crawler.git

保持同步

使用elasticsearch-5.6.4

crawler-conf.yaml有

function zoomChanged() { // ignore zoom_changed event from this change google.maps.event.addListenerOnce(map, 'zoom_changed', function() { // then process the next google.maps.event.addListenerOnce(map, 'zoom_changed', zoomChanged); }); console.log("lastZoom=" + currentZoom + " map.getZoom()=" + map.getZoom()); if (currentZoom < map.getZoom()) { // zooming in if (map.getZoom() % 2 != 1) { currentZoom = map.getZoom() + 1; } else { currentZoom = map.getZoom(); } } else { // zooming out if (map.getZoom() % 2 != 1) { currentZoom = map.getZoom() - 1; } else { currentZoom = map.getZoom() - 2; } } console.log(currentZoom); map.setZoom(currentZoom); currentZoom = map.getZoom(); document.getElementById('zoom-level').innerHTML = currentZoom; }

url和title字段已编入索引,但不是内容。

我试图通过跟随Julien的教程来完成这项工作:https://www.youtube.com/watch?v=xMCuWpPh-4A

一切正常,除了内容未被索引到Elasticsearch中。我觉得这是一个小配置错误,但我尝试了许多变化没有运气。所以,现在我寻求帮助。

感谢。

1 个答案:

答案 0 :(得分:1)

您确定内容未编入索引吗?内容字段未存储,请参阅ES_IndexInit.sh,但应将其编入索引。要存储它,您可以修改init脚本并重新运行爬网,然后将其恢复为与其他字段相同。要测试它是否已编入索引,请尝试查询它并查看它如何影响结果。