将数据从pyspark加载到ElasticSearch时无法检测ES版本

时间:2019-03-07 08:35:01

标签: elasticsearch pyspark

我正在尝试将pyspark jupyteer笔记本中的数据加载到elasticsearch中。 它给了我这个错误:

  

呼叫时发生错误   z:org.apache.spark.api.python.PythonRDD.saveAsNewAPIHadoopFile。 :   org.elasticsearch.hadoop.EsHadoopIllegalArgumentException:无法   检测ES版本-通常,如果   网络/ Elasticsearch群集不可访问或在定位到   没有正确设置“ es.nodes.wan.only”的WAN /云实例

我的conf:

x.saveAsNewAPIHadoopFile(
    path='_',
    outputFormatClass="org.elasticsearch.hadoop.mr.EsOutputFormat", # get it from pyspark jar file
    valueClass="org.elasticsearch.hadoop.mr.LinkedMapWritable",
    conf=conf
)

0 个答案:

没有答案