需要用于类型映射的createDataFrame的模式(key,struct())

时间:2018-04-24 13:33:21

标签: scala apache-spark

我正在使用spark 1.6.2。有人可以为createDataFrame(rdd,schema)提供架构。

我无法在下面为地图类型定义架构。

DF.printSchema()
 |-- PRODUCT_IMAGE_MAP: map (nullable = true)
 |    |-- key: string
 |    |-- value: struct (valueContainsNull = true)
 |    |    |-- image_path: string (nullable = true)
 |    |    |-- image_id: string (nullable = true)
 |    |    |-- image_name: string (nullable = true)
 |-- SKU_ID_SITE_MAP: map (nullable = true)
 |    |-- key: string
 |    |-- value: string (valueContainsNull = true)
 |-- SKU_ID_SITEID_LIST: array (nullable = true)
 |    |-- element: string (containsNull = true)

0 个答案:

没有答案