我正在尝试使用elasticsearch-hadoop 2.0.0集成spark和ES(1.2.1)。我将使用EsOutputFormat向ES写入从我的spark作业中获得的结果。我遇到一个奇怪的问题,其中错误消息表明存在连接错误。
我将日志放入要点here。
我对此异常感到困惑,因为我确信我可以通过默认端口连接到ES:
$ telnet localhost 9200
Trying 127.0.0.1...
Connected to localhost.
Escape character is '^]'.
^C
Connection closed by foreign host.
我正在运行java版本1.7.0_55和scala 2.10.2。我缺少什么想法?
答案 0 :(得分:0)
您是在本地模式还是群集模式下使用spark?如果是集群模式,则集群中的工作执行程序将无法访问localhost
尝试输入群集中所有节点均可访问的网络IP
答案 1 :(得分:0)
在Elasticsearch中定义索引时,是否更改了索引大小? 因为默认值为1000,也许你的数据大于索引的大小,所以它不能加载数据。尝试通过更改设置来更改索引大小:“ index.mapping.total_fields.limit”:10000(例如)