木地板文件摄入德鲁伊-失败

时间:2019-08-21 13:49:05

标签: parquet druid

我在尝试将木地板文件导入德鲁伊时遇到了一些问题。我正在使用上述步骤运行单节点群集(run-micro *),并且druid已启动并正在运行。我看到了服务。现在,我将实木复合地板(数据文件)直接在EC2上复制到本地,并尝试使用“数据加载”进行提取。

“数据加载”选项卡确实看到了文件,但是当我给json指定架构时,加载/输入失败。我的json文件看起来像这样

我在做什么错? Schema / json应该只包含我要提取的字段名,并且应该可以正常工作吗?

在启动以下服务之前,我还启用了实木复合地板扩展来支持这种提取。

druid.extensions.loadList=["druid-hdfs-storage", "druid-kafka-indexing-service", "druid-datasketches", "druid-parquet-extensions", "druid-avro-extensions"]
"dataSchema" : {
  "dataSource" : "test-ingestion",
  "parser" : {
    "type" : "parquet",
    "parseSpec" : {
      "format" : "json",
      "timestampSpec" : {
        "format" : "iso",
        "column" : "ts"
      },
    "dimensionsSpec" : {
        "dimensions": [
          "sourceIPAddress",
          { "name" : "eS", "type" : "string" },
          { "name" : "eN", "type" : "string" },
          { "name" : "eC", "type" : "string" },
          { "name" : "eM", "type" : "string" }
        ]
      }
        }
  },
  "granularitySpec" : {
    "rollup" : true
  }
}

0 个答案:

没有答案