通过pyspark动态写入elasticsearch索引

Question

我有一个像这样的pyspark DataFrame：

my_df = spark.read.load("some-parquet-path")

我希望能够根据＆＃34; id＆＃34;的内容动态地将其写入一些弹性搜索索引。我的DataFrame中的列。我试过这样做：

my_df.write.format(
    "org.elasticsearch.spark.sql"
).mode('overwrite').options(**conf).save("my_index_{id}/my_type")

但我明白了：

org.elasticsearch.hadoop.rest.EsHadoopInvalidRequest: no such index

我该怎么做？

更新

当我从＆＃39;覆盖＆＃39;更改模式时，这似乎有效。要追加＆＃39;能够解释为什么会这样的情况会很棒......