Question

我想自动重命名df的重复列。例如：

df 
Out[4]: DataFrame[norep1: string, num1: string, num1: bigint, norep2: bigint, num1: bigint, norep3: bigint]

应用某些函数以df结束，如：

f_rename_repcol(df) 
Out[4]: DataFrame[norep1: string, num1_1: string, num1_2: bigint, norep2: bigint, num1_3: bigint, norep3: bigint]

我已经创建了自己的功能，但是我确信有更短更好的方法：

def f_df_col_renombra_rep(df):
    from collections import Counter
    from itertools import chain
    import pandas as pd

    columnas_original = np.array(df.columns)
    d1 = Counter(df.columns)
    i_corrige = [a>1 for a in dict(d1.items()).values()]
    var_corrige = np.array(dict(d1.items()).keys())[i_corrige]
    var_corrige_2 = [a for a in columnas_original if a in var_corrige]
    columnas_nuevas = []
    for var in var_corrige:
        aux_corr = [a for a in var_corrige_2 if a in var]
        i=0
        columnas_nuevas_aux=[]
        for valor in aux_corr:
            i+=1
            nombre_nuevo = valor +"_"+ str(i)
            columnas_nuevas_aux.append(nombre_nuevo)
        columnas_nuevas.append(columnas_nuevas_aux)
    columnas_nuevas=list(chain.from_iterable(columnas_nuevas))
    indice_cambio = pd.Series(columnas_original).isin(var_corrige)
    i = 0
    j = 0
    colsalida = [None]*len(df.columns)
    for col in df.columns:
        if indice_cambio[i] == True:
            colsalida[i] = columnas_nuevas[j]
            j += 1
        else:
            colsalida[i] = col
            # no cambio el nombre
        i += 1

    df_out = df.toDF(*(colsalida))

    return  df_out

Answer 1

您可以在此修改重命名功能以满足您的需要，但我发现这是重命名所有重复列的最佳方法

old_col=df.schema.names
running_list=[]
new_col=[]
i=0
for column in old_col:
    if(column in running_list):
        new_col.append(column+"_"+str(i))
        i=i+1
    else:
        new_col.append(column)
        running_list.append(column)
print(new_col)

这是我所做的转换，分配给重复列的后缀不是差异的，直到名称（前缀）保持不变为止＆amp;我可以保存文件。

要更新列，您只需运行：

df=df.toDF(*new_col)

这应该更新列名并删除所有重复项

如果您想将编号保持为_1，_2，_3：您可以使用字典并尝试除块，

dict={}
for column in old_col:
    try:
        i=dict[column]+1
        new_col.append(column+"_"+str(i))
        dict[column]=i
    except:
        dict[column]=1
        new_col.append(column+"_"+str(1)
print(new_col)

Pyspark自动重命名重复列

1 个答案: