Question

我目前对Apache Drill的查询如下 -

select 
 CAST(columns[0] AS Integer) as ID, 
 to_timestamp(SUBSTR(columns[10],1,14),'YYYYMMddHHmmss') as RecordDt
from dfs.`/data/100Krows/`

我想要做的是将我文件夹中每个.csv文件的modificationTime元数据作为这样的列获取 -

select 
  CAST(columns[0] AS Integer) as ID, 
  to_timestamp(SUBSTR(columns[10],1,14),'YYYYMMddHHmmss') as RecordDt,
  modificationTime as versionStartTime
from dfs.`/data/100Krows/`

当我运行以下

时，可以找到modificationTime元数据

 SHOW FILES in dfs.data

有没有办法在当前版本1.1或1.0中实现这一目标？

更新1

我真正需要的是针对单个文件的select语句结果集中包含的文件元数据

如果我的目录结构如下 -

dir0
 dir1
  samefilename.csv    -- Modified Date - 10/01/2013
    *******DATA******
    Col0,Col1,Col2
    Val1-2013,Val2-2013,Val3-2014
    *******DATA******
 dir2
   samefilename.csv    -- Modified Date - 10/01/2014
    *******DATA******
     Col0,Col1,Col2
     Val1-2014,Val2-2014,Val3-2014
    *******DATA******

我想写的查询类型 -

select 
  name             as filename,  
  modificationTime as versionStartTime,
 Col0,
 Col2,
 Col3
from dfs.`/dir0/`

预期结果 -

 Columns[0]         Columns[1]   Columns[2]        .....
 samefileName.csv   10/01/2013   Val1-2013         .....
 samefileName.csv   10/01/2014   Val1-2014         .....

Answer 1

Dakuji，

目前这不太可能（从版本1.1开始），但这是一个代理，直到解决您的问题的Drill issue实现。我在下面提出的并不是确切的解决方案，但有些工作可以帮助你。

前提条件和说明：

在.psv存储配置下注册了.tbl扩展名。
我在dfs下执行此操作。
是您为任何名称命名的文件的占位符。

从Drill的SQLLine提示符执行此操作：

0: jdbc:drill:zk=local> use dfs;  
0: jdbc:drill:zk=local> record! <file_name.tbl>  
0: jdbc:drill:zk=local> SHOW FILES;  
0: jdbc:drill:zk=local> record!  
0: jdbc:drill:zk=local> select columns[9] from dfs.`<file_name.tbl>';

某些列条目中可能存在一些噪音，但您可以使用查询进一步对其进行过滤。

> 0: jdbc:drill:zk=local> !record <file_name.tbl>
Recording stopped.
0: jdbc:drill:zk=local> select columns[9] from dfs.`<\path\<file_name.tbl>`;
+---------------------------+
|          EXPR$0           |
+---------------------------+
| null                      |
| null                      |
|     modificationTime      |
| null                      |
|  2013-04-26 23:44:56.0    |
|  2015-08-12 16:21:39.0    |
|  2014-04-26 10:09:33.0    |
|  2015-04-27 22:49:48.0    |
|  2013-08-24 20:16:29.0    |
|  2015-08-23 19:26:54.0    |
|  2014-10-21 16:43:38.0    |
|  2014-04-26 10:09:35.0    |
|  2014-10-21 16:43:38.0    |
|  2012-11-16 11:38:17.0    |
|  2012-11-16 11:44:27.0    |
|  2014-10-21 16:42:57.0    |
|  2014-04-26 10:09:28.0    |
|  2013-08-24 21:48:39.0    |
|  2015-08-20 22:27:34.0    |
+---------------------------+
19 rows selected (0.082 seconds)

Apache钻取具有结果的mash文件元数据

1 个答案: