我正在使用spark 1.6.2。有人可以为createDataFrame(rdd,schema)
提供架构。
我无法在下面为地图类型定义架构。
DF.printSchema()
|-- PRODUCT_IMAGE_MAP: map (nullable = true)
| |-- key: string
| |-- value: struct (valueContainsNull = true)
| | |-- image_path: string (nullable = true)
| | |-- image_id: string (nullable = true)
| | |-- image_name: string (nullable = true)
|-- SKU_ID_SITE_MAP: map (nullable = true)
| |-- key: string
| |-- value: string (valueContainsNull = true)
|-- SKU_ID_SITEID_LIST: array (nullable = true)
| |-- element: string (containsNull = true)