Azure Datalake Gen2作为Azure Data Explorer的外部表

时间:2019-08-21 18:01:15

标签: azure azure-data-lake azure-databricks azure-data-explorer

Azure Data Lake Gen 2中的分区文件夹下有CSV文件,因此一个大表将有多个CSV文件。我们想通过创建外部表在Azure Data Explorer中使用这些文件。所以我使用下面的脚本在ADX中创建一个外部表:

   .create external table TestAdx
(

    id: int,
    name: string,
    designation: string
)
kind=adl

dataformat=csv

(
    h@'abfss://containername@storageaccountname.dfs.core.windows.net/staging/textadx;token=<<generating using .net API>>'
)

with 
(
   docstring = "Docs",
   folder = "ExternalTables",
   namePrefix="Prefix"
)

我能够执行此查询并创建了外部表,但是当我尝试从该表中获取数据时,出现以下错误:

  

语义错误:“ TestAdx”具有以下语义错误:”   运算符:无法解析名为的表或列或标量表达式   “ TestAdx”。

还请让我知道这是使用ADLS Gen2文件格式ADX的正确方法吗?

3 个答案:

答案 0 :(得分:1)

您正在运行的查询是什么?您在使用external_table()函数吗?

答案 1 :(得分:1)

您需要使用external_table("TestAdx")来访问外部表。

答案 2 :(得分:0)

以下是使用带有Azure Data Lake Gen 2的Azure Data Explorer创建外部表的示例。我添加了分区键和其他参数。

.create external table BugsCSV
(
    Column1 : string,
    Column2 : string,
    Column3 : string
)
kind=adl
partition by "State="State
dataformat=csv
(
    h@'abfss://containername@storageaccountname.dfs.core.windows.net/path;key'
)
with
(
    docstring = "Docs",
    folder = "ExternalTables",
    compressed=true,   
    compressiontype="lz4"
)