如何使用PySpark拆分字符串数据并将数据加载到表中

Question

事件总数是多少？

示例数据：

FWD,29052016:09:01,10.56| FWD,29052016:10:53,11.23| FWD,29052016:15:40,23.20

Answer 1

您需要更改sep（分隔符）参数并将其设置为|：

data = spark.read.csv([DATA_PATH], inferSchema = True, header = True, sep = "|")