是否可以将Clickhouse数据存储配置为hdfs

Question

当前，clickhouse将数据存储在

上

  

/ var / lib / clickhouse

路径，我读过它不支持深度存储。 顺便说一句，它在config.xml文件中是否有任何用于hdfs设置的配置？

Answer 1

将Clickhouse数据目录存储到HDFS中，这确实是个坏主意;）

由于HDFS与posix不兼容的文件系统，在这种部署方式下，clickhouse的运行速度会非常慢

您可以使用https://github.com/jaykelin/clickhouse-hdfs-loader将HDFS中的数据加载到Clickhouse中，不久的将来https://clickhouse.yandex/docs/en/roadmap/ Clickhouse将支持PARQUET格式来加载数据

clickhouse拥有自己的高可用性和集群解决方案 请阅读 https://clickhouse.yandex/docs/en/operations/table_engines/replication/和https://clickhouse.yandex/docs/en/operations/table_engines/distributed/

Answer 2

HDFS引擎允许通过ClickHouse管理HDFS上的数据，从而与Apache Hadoop生态系统集成。该引擎类似于文件和URL引擎，但是提供了特定于Hadoop的功能。

https://clickhouse.yandex/docs/ru/operations/table_engines/hdfs/