Question

我正在使用Spark写入弹性搜索日志。日志采用JSON格式，有时间戳字段。

示例{ "timestamp": "2016-11-02 21:16:06.116" }

当我将Json日志写入Elastic索引时，时间戳被分析为String而不是date。我尝试使用sparkConf.set("es.mapping.timestamp", "timestamp")在sparkconf中设置属性，但它在运行时抛出错误：org.apache.spark.util.TaskCompletionListenerException：无法解析时间戳[2016-11-03 15：46：55.1155]

Answer 1

您可以更改时间戳数据格式

2016-11-02 21：16：06.116 - ＆gt; 2016-11-02T21：16：06.116

我使用2016-11-02T21：16：06.116插入弹性是工作

输入属性

  "create_time": {
  "format": "strict_date_optional_time||epoch_millis",
  "type": "date"

Spark中的时间戳映射到Elasticsearch

1 个答案: