在pyspark中的自定义分隔符上拆分字符串

时间:2017-07-30 20:35:00

标签: pyspark pyspark-sql

我有列foo的数据,可以是

foo
abcdef_zh
abcdf_grtyu_zt
pqlmn@xl

从这里我想创建两个列

Part 1      Part 2
abcdef       zh
abcdf_grtyu  zt
pqlmn        xl

我正在使用的代码是

data = data.withColumn("Part 1",split(data["foo"],substring(data["foo"],-3,1))).get_item(0)
data = data.withColumn("Part 2",split(data["foo"],substring(data["foo"],-3,1))).get_item(1)

但是我得到的错误列不可迭代

1 个答案:

答案 0 :(得分:1)

以下内容应该有效

SOURCES := $(wildcard src/*.cpp)

NO_OF_FILES := $(words $(SOURCES))