标签: elasticsearch stormcrawler
Stormcrawler通过爬网的过程正在向状态索引添加一个名为metadata.depth的字段。我不确定它是从哪里产生的,但是可以通过某种方式将该深度值发送到Elasticsearch中的索引索引以及状态索引吗?该值将有助于对索引索引进行排名。
metadata.depth
答案 0 :(得分:1)
如果它在元数据中,则可以像其他任何东西一样使用 indexer.md.mapping 对其进行索引。
它是MetadataTransfer在发现外链时生成的。