python spark在elasticsearch中写入时间戳

时间:2018-05-22 11:56:32

标签: apache-spark elasticsearch pyspark apache-spark-sql elasticsearch-plugin

我正在从jdbc源读取数据并将其直接写入弹性搜索索引。当我查询ES中的数据时,我看到我的数据帧中的所有时间戳字段都转换为long

以下是保存

 spark_df1.write.format("org.elasticsearch.spark.sql")
.option('es.index.auto.create', 'true')
.option("es.write.operation", "index")
.option('es.host','localhost')
.option('es.mapping.date.rich',"True")
.option('es.mapping.id', 'Ticket')
.mode("append")
.save("index_esche/type")

当我运行spark_df.printSchema()

|-- Createdon: timestamp (nullable = true)
|-- Updatedon: timestamp (nullable = true)
|-- Resolvedon: timestamp (nullable = true)

0 个答案:

没有答案