Nutch 2.3 + Elasticsearch /结果无法在Kibana中显示

时间:2015-06-16 19:44:54

标签: elasticsearch nutch kibana-4

仅供参考,这是交叉发布到Apache Nutch邮件列表。

我真的不确定这个问题在哪里,无论是Nutch问题,Kibana还是Elasticsearch。我使用Nutch 2.3,HBase 0.94.14和Elasticsearch 1.6与Kibana 4.1.0进行抓取,存档和索引。

我主要遵循以下教程,唯一的例外是从教程的1.4版本升级到ES 1.6(我现在想知道这是否是一个问题)。

https://gist.github.com/xrstf/b48a970098a8e76943b9

按照本教程,我使用/ bin / nutch脚本。

大多数一切都有效; Nutch遵循我的种子URL,HBase存储下载,Elasticsearch似乎正在索引内容,但是我无法让Kibana可视化来自Nutch的内容。 Kibana识别索引及其字段,但没有显示任何内容。我已经在Kibana中加载了索引,无论是否有基于时间的事件都无济于事。

我有其他索引和'类型'在Kibana可以可视化的Elasticsearch实例中,我可以使用cURL查询Elasticsearch并获得非常好的结果,我只是不能让Kibana可视化来自Nutch的特定内容。

我尝试了两种不同的ES + Kibana设置,只是重定向了Nutch索引输出,两者都有同样的问题。我也尝试删除索引并重新开始,首先创建索引然后运行' nutch index -all'并尝试一个干净的Elasticsearch / Kibana安装。

我甚至竟然部署了Elasticsearch 1.4,但是这需要将Kibana降级到v3并且我很难让它工作,但我已经(再次)确认内容是通过cURL IN Elasticsearch。

我的猜测是ES版本中存在不同之处,但如果出现问题,传输客户端是否会在插入时失败?

以下是来自Kibana的日志,它似乎没有显示任何有趣的内容。

{
  "name": "Kibana",
  "hostname": "VirtualBeast",
  "pid": 6695,
  "level": 30,
  "req": {
    "method": "POST",
    "url": "\/elasticsearch\/_msearch?timeout=0&ignore_unavailable=true&preference=1434483458287",
    "headers": {
      "host": "localhost:5601",
      "connection": "keep-alive",
      "content-length": "732",
      "accept": "application\/json, text\/plain, *\/*",
      "origin": "http:\/\/localhost:5601",
      "user-agent": "Mozilla\/5.0 (X11; Linux x86_64) AppleWebKit\/537.36 (KHTML, like Gecko) Chrome\/43.0.2357.125 Safari\/537.36",
      "content-type": "application\/json;charset=UTF-8",
      "referer": "http:\/\/localhost:5601\/",
      "accept-encoding": "gzip, deflate",
      "accept-language": "en-US,en;q=0.8"
    },
    "remoteAddress": "127.0.0.1",
    "remotePort": 51632
  },
  "res": {
    "statusCode": 200,
    "responseTime": 12,
    "contentLength": 4992
  },
  "msg": "POST \/_msearch?timeout=0&ignore_unavailable=true&preference=1434483458287 200 - 12ms",
  "time": "2015-06-16T19:39:57.372Z",
  "v": 0
}

我们将不胜感激,我是否需要升级Indexer以匹配Elasticsearch版本?

谢谢!

0 个答案:

没有答案