Question

我正在尝试将蜂巢桌放在我根据以下json内容创建的镶木桌上： {＆＃34; USER_ID＆＃34;：＆＃34; 4513＆＃34;＆＃34;商＆＃34;：[{＆＃34; ID＆＃34;：＆＃34; 4220＆＃34;＆＃ 34;名称＆＃34;：＆＃34; dbmvl＆＃34;＆＃34;行为＆＃34; {＆＃34; B1＆＃34;：＆＃34; gxybq＆＃34;＆＃34; B2＆＃ 34;：＆＃34; ntfmx＆＃34;}}，{＆＃34; ID＆＃34;：＆＃34; 4173＆＃34;＆＃34;名称＆＃34;：＆＃34; dvjke＆＃34; ＆＃34;行为＆＃34; {＆＃34; B1＆＃34;：＆＃34; sizow＆＃34;＆＃34; B2＆＃34;：＆＃34; knuuc＆＃34;}}]}

{＆＃34; USER_ID＆＃34;：＆＃34; 3960＆＃34;＆＃34;商＆＃34;：[{＆＃34; ID＆＃34;：＆＃34 ; 1859＆＃34;＆＃34;名称＆＃34;：＆＃34; ponsv＆＃34;＆＃34;行为＆＃34; {＆＃34; B1＆＃34;：＆＃34; ahfgc＆＃34 ;，＆＃34; B2＆＃34;：＆＃34; txpea＆＃34;}}，{＆＃34; ID＆＃34;：＆＃34; 103＆＃34;＆＃34;名称＆＃34 ;: ＆＃34; uhqqo＆＃34;＆＃34;行为＆＃34; {＆＃34; B1＆＃34;：＆＃34; lktyo＆＃34;＆＃34; B2＆＃34;：＆＃34; ituxy＆＃34;}}]}

{＆＃34; USER_ID＆＃34;：＆＃34; 567＆＃34;＆＃34;商＆＃34;：[{＆＃34; ID＆＃34;：＆＃34 ; 9622＆＃34;＆＃34;名称＆＃34;：＆＃34; crjju＆＃34;＆＃34;行为＆＃34; {＆＃34; B1＆＃34;：＆＃34; rhaqc＆＃34 ;，＆＃34; B2＆＃34;：＆＃34; npnot＆＃34;}}，{＆＃34; ID＆＃34;：＆＃34; 6965＆＃34;＆＃34;名称＆＃34 ;: ＆＃34; fnheh＆＃34;＆＃34;行为＆＃34; {＆＃34; B1＆＃34;：＆＃34; eipse＆＃34;＆＃34; B2＆＃34;：＆＃34; nvxqk＆＃34;}}]}

我基本上使用spark sql来读取json并写出一个镶木地板文件。

我遇到了将蜂巢放在生产的镶木地板文件上的问题。这是我的hive hql：
create table test (mycol STRUCT<user_id:String, providers:ARRAY<STRUCT<id:String, name:String, behaviors:MAP<String, String>>>>) stored as parquet; Alter table test set location 'hdfs:///tmp/test.parquet'; 上面的语句执行正常，但是当我尝试在表上执行select *时出现错误：
异常java.io.IOException失败：java.lang.IllegalStateException：{providers = providers，user_id = user_id}

中不存在索引0处的列mycol

Answer 1

尝试将您的查询更改为：

create table test (user_id:String, providers:ARRAY<STRUCT<id:String, name:String, behaviors:MAP<String, String>>>) stored as parquet;

存储Parquet文件时，根JSON对象会变平。

在复杂的镶木地板文件上创建蜂巢表

1 个答案: