我正在尝试将pyspark jupyteer笔记本中的数据加载到elasticsearch中。 它给了我这个错误:
呼叫时发生错误 z:org.apache.spark.api.python.PythonRDD.saveAsNewAPIHadoopFile。 : org.elasticsearch.hadoop.EsHadoopIllegalArgumentException:无法 检测ES版本-通常,如果 网络/ Elasticsearch群集不可访问或在定位到 没有正确设置“ es.nodes.wan.only”的WAN /云实例
我的conf:
x.saveAsNewAPIHadoopFile(
path='_',
outputFormatClass="org.elasticsearch.hadoop.mr.EsOutputFormat", # get it from pyspark jar file
valueClass="org.elasticsearch.hadoop.mr.LinkedMapWritable",
conf=conf
)