使用spark的EsOutputFormat连接错误

时间:2014-06-17 12:46:25

标签: elasticsearch apache-spark

我正在尝试使用elasticsearch-hadoop 2.0.0集成spark和ES(1.2.1)。我将使用EsOutputFormat向ES写入从我的spark作业中获得的结果。我遇到一个奇怪的问题,其中错误消息表明存在连接错误。

我将日志放入要点here

我对此异常感到困惑,因为我确信我可以通过默认端口连接到ES:

$ telnet localhost 9200
Trying 127.0.0.1...
Connected to localhost.
Escape character is '^]'.
^C
Connection closed by foreign host.

我正在运行java版本1.7.0_55和scala 2.10.2。我缺少什么想法?

2 个答案:

答案 0 :(得分:0)

您是在本地模式还是群集模式下使用spark?如果是集群模式,则集群中的工作执行程序将无法访问localhost

尝试输入群集中所有节点均可访问的网络IP

答案 1 :(得分:0)

在Elasticsearch中定义索引时,是否更改了索引大小?  因为默认值为1000,也许你的数据大于索引的大小,所以它不能加载数据。尝试通过更改设置来更改索引大小:“ index.mapping.total_fields.limit”:10000(例如)