Question

我是Spark＆Delta Lake的新手。我在增量表的顶部创建配置单元表。我有必要的jars delta-core-shaded-assembly_2.11-0.1.0.jar，hive-delta_2.11-0.1.0.jar;在蜂巢类路径中。设置以下属性。

SET hive.input.format=io.delta.hive.HiveInputFormat;
SET hive.tez.input.format=io.delta.hive.HiveInputFormat;

但是在创建表时

CREATE EXTERNAL TABLE hive_table(col1 INT, col2 STRING) STORED BY 'io.delta.hive.DeltaStorageHandler' LOCATION '/path/to/my/delta/table'

出现以下异常：

FAILED：执行错误，返回代码1 org.apache.hadoop.hive.ql.exec.DDLTask。 org.apache.spark.network.util.JavaUtils.byteStringAs（Ljava / lang / String; Lorg / apache / spark / network / util / ByteUnit;）J

两个表匹配的模式。堆栈详细信息：火花：2.4.4 配置单元：1.2.1

我们非常感谢您的帮助。预先感谢。

Answer 1

带有delta lake的配置单元仅支持spark 3.0和delta版本0.7.0。

<dependency>
  <groupId>io.delta</groupId>
  <artifactId>delta-core_2.12</artifactId>
  <version>0.7.0</version>
</dependency>

三角洲湖上的蜂巢表

1 个答案: