将Hive分区映射到具有任意分区子目录名称的现有文件夹结构

时间:2018-06-05 09:23:07

标签: hive

我正在寻找解决一个不太常见问题的解决方案 - 通常我想要实现的是将Hive表的分区映射到已存在的特定文件夹,并且不应重命名以适合默认Hive分区命名约定。

我有的文件夹结构如下:

<some path>/Daily/database/<partition subfolders by day>
<some path>/Weekly/database/<partition subfolders by day>
<some path>/Lifetime/database/<partition subfolders by day>

我想要的是将Period(Daily等)文件夹视为分区。

现在有两个问题:

  • 数据库潜在分区子目录之间的子文件夹
  • 期间文件夹不应遵循 partition-name = partition-value 命名格式

我想前者可以通过在所有行中添加带有“数据库”值的虚拟列并通过它进行分区的可怕拐杖来解决。

关于后者,虽然我不确定它是否可能,以及我能够发现它不是,至少以一种明智的方式。所以我正在寻找关于此的建议,或至少是专家确认,这是不可能的:)

如果这有助于我的环境是Databricks平台和文件以镶木地板格式保存。

0 个答案:

没有答案