Question

data frame中有pyspark。这个数据框说明了一些带有特殊字符的列。

cols = df.schema.names

cols
['abc test', 'test*abc', 'eng)test', 'abc_&test']

reps = ((' ', '_&'), ('(', '*_'), (')', '_*'), ('{', '#_'), ('}', '_#'), (';', '_##'), ('.', '_$'), (',', '_$$'), ('=', '_**'))

def col_rename(x):
    new_cols = reduce(lambda a, kv: a.replace(*kv), reps, x)

for i in cols:
    df = df.withColumnRenamed(i, col_rename(cols, i))
return df

现在我想知道在更换列名中的特殊字符后是否有任何重复的列。我们可以看到new_cols abc_&test

中的列重复

发生这种情况时，我希望返回额外的_ underscore。

我的new_cols应该如下

['abc__&test', 'test*_abc', 'eng_*test', 'abc_&test']

我如何实现我的目标？

Answer 1

首先，您需要更改

中定义的列名

reps = [(' ', '_&'), ('(', '*_'), (')', '_*'), ('{', '#_'), ('}', '_#'), (';', '_##'), ('.', '_$'), (',', '_$$'), ('=', '_**')]

可以通过创建新列表来完成

replacedCols = []
for col in cols:
    for x in reps:
        col = col.replace(x[0], x[1])
    replacedCols.append(col)

现在我想知道在更换列名中的特殊字符后是否有任何重复的列。我想在发生这种情况时返回额外的_下划线。

你可以通过检查replacedCols数组

中的每个列名来做到这一点

checkCols = replacedCols[:]
for index, col in enumerate(replacedCols):
    checkCols[index] = ''
    replacedCols[index]
    if col in checkCols:
        replacedCols[index] = col.replace('_', '__')

因此你完成了。最后一步是重命名列

for index, col in enumerate(cols):
    df = df.withColumnRenamed(col, replacedCols[index])

df.show(truncate=False)

你应该

+----------+--------+---------+---------+
|abc__&test|test*abc|eng_*test|abc_&test|
+----------+--------+---------+---------+

我希望这会有所帮助。快乐的编码。

Answer 2

您的代码可以修改以检查new_cols是否已存在于列中，如果是，则替换为额外的下划线，

import re

reps = (' ', '_&'), ('(', '*_'), (')', '_*'), ('{', '#_'), ('}', '_#'), (';', '_##'), ('.', '_$'), (',', '_$$'), ('=', '_**')

def col_rename(x):
    new_cols = reduce(lambda a, kv: a.replace(*kv), reps, x)
    if new_cols != x:
       new_cols = re.sub('_','__',new_cols) if new_cols in cols else new_cols
    return new_cols

for i in cols:
    df = df.withColumnRenamed(i, col_rename(i))

>>> df.show(0)
+----------+--------+---------+---------+
|abc__&test|test*abc|eng_*test|abc_&test|
+----------+--------+---------+---------+
+----------+--------+---------+---------+

替换数据框

2 个答案: