hive中的XML派生

时间:2018-01-30 09:25:34

标签: xml xpath hive

我们有一个方案可以将XML列解析为配置单元。

  1. 表1有5列+ 1个XML列。
  2. 我们正在使用此表创建一个视图,并应用XPath来派生和分离XML列。
  3. 但问题是,数据检索从这个视图中消失了(10分钟内1000行),这个表有5亿条记录。

    我们有什么方法可以改善表现。

    示例XML数据:

    <Metrics>
       <M Id="132">1.0000000e+000</M>
       <M Id="133">2.4000000e+001</M>
    </Metrics> 
    

    我们需要根据ID值给出不同的列名,如:

    ,xpath_double (metrics, 'Metrics/M[@Id="1"]')                                                                AS totalConnectedTime
    ,xpath_double (metrics, 'Metrics/M[@Id="3"]')                                                                AS apneaHypopneaIndex
    ,xpath_double (metrics, 'Metrics/M[@Id="4"]')                                                                AS apneaIndex
    

0 个答案:

没有答案