HDFS作为深度存储：Druid不将历史数据存储在HDFS上

Question

我已经在本地计算机上设置了Druid的微型服务器。我想将HDFS用作德鲁伊的深层存储。我已使用以下Druid Docs，[druid-hdfs-storage] fully qualified deep storage path throws exceptions和imply-druid docs作为参考。

我在 /apache-druid-0.16.0-incubating/conf/druid/single-server/micro-quickstart/_common/common.runtime.properties

中进行了以下更改

druid.extensions.loadList=["druid-hdfs-storage", "druid-kafka-indexing-service", "druid-datasketches"]

#
# Deep storage
#

# For local disk (only viable in a cluster if this is a network mount):
#druid.storage.type=local
#druid.storage.storageDirectory=var/druid/segments

# For HDFS:
druid.storage.type=hdfs
druid.storage.storageDirectory=hdfs://mycluster:8020/druid/segments


#
# Indexing service logs
#

# For local disk (only viable in a cluster if this is a network mount):
#druid.indexer.logs.type=file
#druid.indexer.logs.directory=var/druid/indexing-logs

# For HDFS:
druid.indexer.logs.type=hdfs
druid.indexer.logs.directory=hdfs://mycluster:8020/druid/indexing-logs

我也尝试过 druid.storage.storageDirectory = hdfs：// mycluster：9000 / druid /

但是问题是数据源似乎运行正常，并且日志中也没有错误/问题，但是我无法看到hdfs上的分段。我已经等待了几个小时（大约需要5个小时）才能保存数据。

此外，我将Hadoop配置XML（core-site.xml，hdfs-site.xml，yarn-site.xml，mapred-site.xml）放置在Druid节点的类路径上，并将它们复制到 /apache-druid-0.16.0-incubating/conf/druid/single-server/micro-quickstart/_common /

  

Hadoop版本为2.7.3，而德鲁伊版本为0.16.0

Answer 1

我通过手动更改mapred-site.xml中的hdp.version解决了该问题。我在middleManager.log

中遇到以下异常

  

java.lang.IllegalArgumentException：无法将'/hdp/apps/${hdp.version}/mapreduce/mapreduce.tar.gz#mr-framework'解析为URI，请检查mapreduce的设置。 application.framework.path

但是细分市场元数据仍显示请求失败，状态码为404。

Answer 2

您在Druid UI的“细分”标签中看到任何细分吗？如果是这样，您可以通过单击细分行中的放大镜图标来检查该细分在深层存储中的位置。

出现的窗口将在“ loadSpec”->“ path”字段中显示细分的元数据和该细分的路径。