我试图用我的HiveContext运行一个insert语句,如下所示:
hiveContext.sql('insert into my_table (id, score) values (1, 10)')
1.5.2 Spark SQL Documentation并未明确说明是否支持此功能,尽管它支持"动态分区插入"。
这会导致像
这样的堆栈跟踪AnalysisException:
Unsupported language features in query: insert into my_table (id, score) values (1, 10)
TOK_QUERY 0, 0,20, 0
TOK_FROM 0, -1,20, 0
TOK_VIRTUAL_TABLE 0, -1,20, 0
TOK_VIRTUAL_TABREF 0, -1,-1, 0
TOK_ANONYMOUS 0, -1,-1, 0
TOK_VALUES_TABLE 1, 13,20, 41
TOK_VALUE_ROW 1, 15,20, 41
1 1, 16,16, 41
10 1, 19,19, 44
TOK_INSERT 1, 0,-1, 12
TOK_INSERT_INTO 1, 0,11, 12
TOK_TAB 1, 4,4, 12
TOK_TABNAME 1, 4,4, 12
my_table 1, 4,4, 12
TOK_TABCOLNAME 1, 7,10, 22
id 1, 7,7, 22
score 1, 10,10, 26
TOK_SELECT 0, -1,-1, 0
TOK_SELEXPR 0, -1,-1, 0
TOK_ALLCOLREF 0, -1,-1, 0
scala.NotImplementedError: No parse rules for:
TOK_VIRTUAL_TABLE 0, -1,20, 0
TOK_VIRTUAL_TABREF 0, -1,-1, 0
TOK_ANONYMOUS 0, -1,-1, 0
TOK_VALUES_TABLE 1, 13,20, 41
TOK_VALUE_ROW 1, 15,20, 41
1 1, 16,16, 41
10 1, 19,19, 44
是否有其他方法可以插入到支持 的Hive表中?
答案 0 :(得分:23)
可以使用DataFrameWriter上的append
模式将数据附加到Hive表。
data = hc.sql("select 1 as id, 10 as score")
data.write.mode("append").saveAsTable("my_table")
这与插入结果相同。
答案 1 :(得分:13)
我遇到了同样的问题(Spark 1.5.1),并尝试了不同的版本。
鉴于
sqlContext.sql("create table my_table(id int, score int)")
唯一有效的版本如下:
sqlContext.sql("insert into table my_table select t.* from (select 1, 10) t")
sqlContext.sql("insert into my_table select t.* from (select 2, 20) t")
答案 2 :(得分:8)
saveAsTable
接受的回答AnalysisException
失败了(我不明白为什么)。对我有用的是:
data = hc.sql("select 1 as id, 10 as score")
data.write.mode("append").insertInto("my_table")
我正在使用Spark v2.1.0。
答案 3 :(得分:1)
您尝试执行数据文件格式无法执行的操作,因此Unsupported language features in query
例外。
许多数据文件格式是一次写入的,不支持ACID操作。
如果需要,Apache ORC支持ACID操作。
相反,您可以使用分区将数据拆分为文件夹(/ data / year = 2017 / month = 10 ....),您可以在此处将数据追加/插入数据湖。
答案 4 :(得分:-1)
试试这个hiveContext.sql("insert into table my_table select 1, 10")
如果您还没有将动态分区模式更改为非严格,则必须执行此操作hiveCtx.setConf("hive.exec.dynamic.partition.mode", "nonstrict")
答案 5 :(得分:-1)
第一次这样做时
$data.write.mode("append").saveAsTable("my_table")
您应该将"append"
替换为"overwrite"
,然后,您可以使用"append"
。