将列表的值设置为数据帧的列表

时间:2018-07-09 12:15:09

标签: python pandas dataframe filepath

场景::我有2个列表,一个是带有名称的字符串列表,另一个是具有不同内容的数据帧列表。我正在尝试将第一个列表中的值放到第二个列表中。

数据示例:

list1 = ['jan18', 'feb18', 'mar18', 'apr18', 'may18']

清单2是具有以下结构的数据帧的列表:

DF1_LIST2:
row1      row2      row3    row4
           5         55      12
           3         51      11
           3         52      11
           9         59      11

DF2_LIST2:
row1      row2      row3    row4
           9         91      7
           5         1       23
           3         24      56
           9         68      21

我的目标是将list1的第一个元素添加到list2的第一个数据帧的第一列中的所有单元格中;然后将list2的第二个元素添加到列表2的第二个数据帧的第一列的所有单元格中,依此类推。输出将类似于:

DF1_LIST2:
row1      row2      row3    row4
jan18      5         55      12
jan18      3         51      11
jan18      3         52      11
jan18      9         59      11

DF2_LIST2:
row1      row2      row3    row4
feb18      9         91      7
feb18      5         1       23
feb18      3         24      56
feb18      9         68      21

到目前为止,我试图建立一个三重for循环,第一个遍历list1的项,第二个遍历list2的数据帧,第三个遍历每个数据帧的行:

import pandas as pd
import os
from os import listdir
from os.path import isfile, join
import glob

# Get File Names
mypath = "//DGMS/Desktop/uploaded"
onlyfiles = [f for f in listdir(mypath) if isfile(join(mypath, f))]

# Get dates
onlyfiles = [name.split("_")[0] for name in onlyfiles]    
df_of_names = pd.DataFrame(onlyfiles) 

# Get File Contents
all_files = glob.glob(os.path.join(mypath, "*.xls*"))
contentdataframes = [pd.read_excel(f) for f in all_files]

for dfs in contentdataframes:
dfs.insert(0,"date*","")
dfs.insert(1,"apply*","")

for date in onlyfiles:  
     for dfs in contentdataframes:  
        for row in dfs.itertuples(index=True):
            dfs.set_value(row,0,date)

这给了我一个错误,我相信是因为标题列仍然被视为普通行,而不是索引。

问题:有适当的方法吗?

2 个答案:

答案 0 :(得分:2)

使用assign在每个DataFrame中添加新列:

d = [pd.read_excel(f).assign(row1=os.path.basename(f).split('.')[0].split('_')[0])
     for f in all_files]

编辑:

如果要处理列,而要处理具有多列的.assign则更难读,则可以对每个loop使用DataFrame来处理,最后附加到list上:

contentdataframes = []
for f in all_files:
    df = pd.read_excel(f)
    df['col1'] = 10
    df['col2'] = 'string1'
    df['row1'] = os.path.basename(f).split('.')[0].split('_')[0]
    contentdataframes.append(df)

答案 1 :(得分:1)

您可以通过os.path.splitext从完整路径中提取文件名。然后用pd.DataFrame.assign包装列表理解:

import os

def extract_name(x):
    return os.path.splitext(fp)[0].split('_')[0]

dfs = [pd.read_excel(fp).assign(row1=extract_name(fp)) for fp in all_files]