我正在寻找解决一个不太常见问题的解决方案 - 通常我想要实现的是将Hive表的分区映射到已存在的特定文件夹,并且不应重命名以适合默认Hive分区命名约定。
我有的文件夹结构如下:
<some path>/Daily/database/<partition subfolders by day>
<some path>/Weekly/database/<partition subfolders by day>
<some path>/Lifetime/database/<partition subfolders by day>
我想要的是将Period(Daily等)文件夹视为分区。
现在有两个问题:
我想前者可以通过在所有行中添加带有“数据库”值的虚拟列并通过它进行分区的可怕拐杖来解决。
关于后者,虽然我不确定它是否可能,以及我能够发现它不是,至少以一种明智的方式。所以我正在寻找关于此的建议,或至少是专家确认,这是不可能的:)
如果这有助于我的环境是Databricks平台和文件以镶木地板格式保存。