在数据块中使用限定名称创建镶木地板文件

Question

我必须使用清理转换在csv中处理一些原始数据文件，并在clenase层中将其加载为.parquet文件。 Raw层文件（csv）和Cleanse层文件应具有相同的名称。

但是我无法使用给定名称保存.parquet文件，它正在创建目录，并且.parquet文件下面使用随机名称保存。请帮助完成此操作。

Answer 1

这是实木复合地板文件设计成多个行组的集合的方式。 拼花地板的名称是数据块将保存在其中的文件夹。 如果只需要一个文件，则必须使用其他文件格式，并且很可能会失去镶木地板提供的用于读取和写入的并行化功能。