DynamicFrame解决了在数组和结构之间的选择

时间:2019-05-28 16:50:16

标签: apache-spark pyspark aws-glue aws-glue-data-catalog

我正在使用AWS Glue爬网XML文件并将其添加到Glue数据库表中。我正在使用的DynamicFrame标识XML模式中的几个选择。我可以解决大多数问题,但有一种情况我无法弄清楚。

XML结构的相关部分是:

<root>
  <order>
     <lineitems>
       <lineitem>
          ...
       </lineitem>
     </lineitems>
  </order>
</root> 

我怀疑DynamicFramelineitemsstruct之间将lineitems/lineitem显示为choice,将array显示为struct因为某些订单有一个lineitem,而其他订单有多个lineitems。我尝试用resolveChoice调用project:array,但是结果为element:unknown,所以我再也看不到lineitem的结构了。我不确定在这里还能尝试什么,还有什么主意吗?

0 个答案:

没有答案