Question

我为PolyBase创建了一个EXTERNAL TABLE，以将数据从BLOB存储加载到Azure SQL数据仓库。我有下面关于在文件加载的问题。

1）如果数据不断增长，那么PolyBase将如何工作。如果有

之类的每日样本文件

test_2019_02_01.incr
test_2019_02_02.incr

然后我们需要每次创建drop并重新创建外部表。如果没有，我该如何做

CREATE EXTERNAL TABLE [dbo].[sample]
 (
 [social] varchar(30) NOT NULL,
 [address] varchar(30) NOT NULL
 )
 with (
 LOCATION='/TEST/',
 DATA_SOURCE=POLYTEST,
 FILE_FORMAT=POLY_TEST_HEADER,
 REJECT_TYPE=VALUE,
 REJECT_VALUE=0
 )

2）我可以在PolyBase Azure BLOB存储中编写UNIX脚本吗？

请分享您对此问题的看法。

Answer 1

您可以在Azure SQL数据仓库上创建一个表，来自文件的数据将驻留在该表上，然后创建位于Azure存储上的文件的列表，并遍历该列表，并为每个项目创建和删除外部表在清单上。您可以标记每个已处理的项目。每次创建外部表时，都将数据加载到Azure数据仓库表中，然后删除外部表。 Here，您将找到完整的示例。

Polybase中的增量负载

1 个答案: