从Avro文件读取数据并写入Impala表

时间:2019-08-14 16:39:05

标签: scala apache-spark apache-spark-sql impala spark-avro

我正在工作的项目以Avro文件的形式接收数据。我正在Scala(使用Scala IDE)中编写通用代码,以读取文件夹中存在的所有Avro文件并为每个avro文件创建一个表。

我正在将avro文件数据作为数据帧读取,并使用以下代码将其写回Impala数据库(使用JDBC)。

df.write.mode("overwrite").format("jdbc").options(jdbcOptions).saveAsTable("table1")

执行此代码时,我收到一条create语句错误。

[Cloudera][ImpalaJDBCDriver](500051) ERROR processing query/statement. 
Error Code: 0, 
SQL state: TStatus(statusCode:ERROR_STATUS, sqlState:HY000,
errorMessage:AnalysisException: Syntax error in line 1:
...table1 ("col_message_key" DECIMAL(12,0)...

我希望代码创建一个名为“ table1”的表

您能帮我吗?

0 个答案:

没有答案