使用scala spark将EDI格式转换为csv?

时间:2018-03-12 09:18:46

标签: scala apache-spark

如何使用spark或scala将EDI格式文件转换为CSV文件?

2 个答案:

答案 0 :(得分:0)

您可以使用this之类的工具创建从EDI格式到CSV的映射,然后在该工具中生成代码。然后,此代码可用于在Spark中将EDI转换为CSV。

答案 1 :(得分:0)

对于开源解决方案,我认为最好的选择是EDI Reader from BerryWorks。 Haven没有自己尝试过,但显然this is what Hortonworks recommends,我相信他们在大数据领域的判断力。我也没有参与披露事宜。

从那时起,它仍然是将EDI XML表示转换为CSV的问题。鉴于XML处理不是vanilla Spark的一部分,再次,您的选择在这里相当有限。可以试试Databricks spark-xml吗?