Spark DataFrame-键和值列的数组的结构类型

时间:2019-04-16 06:26:42

标签: apache-spark apache-spark-sql apache-spark-dataset

样本数据集

B7J;B7J Realty Corp;[street#939 W El Camino,city#Chicago,state#IL]
AGC;AGC Companies Incorporated;[street#415 N Mary Ave,city#Long Island,state#NY]
KBB;KBB Minerals International Inc;[street#2373 S Archer Ave,city#Jersey City,state#NJ]

第一行-公司简称,公司全名和公司地址。 在这里,第一列和第二列非常简单明了并已实现。但是我如何实现地址栏。这样写

val companySchema = StructType(Array(
    StructField("Company_key", StringType),
    StructField("Company_Name", StringType),
    StructField("Company_Address", StringType)));

但是会帮忙找城市吗?如何重新格式化架构。

0 个答案:

没有答案