Spark：csv文件中的动态模式定义

Question

将架构信息作为csv文件接收如下。假设我有大约100 +列

FIRSTNAME|VARCHAR2
LASTANME|VARCHAR2
MIDDLENAME|VARCHAR2
BIRTHDATE|DATE
ADULTS|NUMBER
ADDRESS|VARCHAR2

如何在这种情况下在SPARK中动态生成架构？

Answer 1

您可以使用字符串拆分和模式匹配，假设模式文件是有效格式化的csv。假设您已将模式加载为单个以逗号分隔的字符串，则以下内容将起作用：

{{1}}

只需在模式匹配语句中添加新案例，即可轻松添加更多类型。