Question

我需要在Databricks中现有的Delta Lake Table之上创建一个抽象。是否有可能使基于Spark中的Delta Lake Table的SQL Server成为SQL View？

Answer 1

现在可以通过多种方式在三角洲上创建SQL视图。

通过Spark：

CREATE OR REPLACE VIEW sqlView AS SELECT col1, .., coln FROM delta_table

可以在增量表（路径）上创建配置单元表。只需在配置单元环境中添加jar，设置以下属性并创建外部表（支持配置单元2.x）

`

ADD JAR /path/to/delta-core-shaded-assembly_2.11-0.1.0.jar;
ADD JAR /path/to/hive-delta_2.11-0.1.0.jar;
SET hive.input.format=io.delta.hive.HiveInputFormat;
SET hive.tez.input.format=io.delta.hive.HiveInputFormat;
CREATE EXTERNAL TABLE deltaTable(col1 INT, col2 STRING)
STORED BY 'io.delta.hive.DeltaStorageHandler'
LOCATION '/delta/table/path'

`

有关更多详细信息：https://github.com/delta-io/connectors

Presto和Athena可以与delta集成。 https://docs.delta.io/latest/presto-integration.html

Answer 2

可以使用以下DDL语句在Delta Lake中创建视图，就像在关系数据库中一样：

CREATE OR REPLACE VIEW SampleDB.Sample_View
AS
SELECT 
ColA
,COlB
FROM SampleDB.Sample_Table

Create View Documentation

Delta Lake表上的SQL视图

2 个答案: