使用to_csv的for循环仅循环一次

时间:2019-02-26 20:05:26

标签: python export-to-csv

我有一个脚本,该脚本使用for循环读取和清理csv文件,然后结果会将其另存为新的csv文件。读取和清理循环对于我的所有csv文件都可以正常工作,直到达到“ to_csv”功能为止。看来它只保存第一个csv文件,而不是全部。

这是我的剧本

files_directory = 'C:/Users/Downloads/data/raw_data'
raw_files = os.listdir(files_directory)
csv_files = [] 

def clean_df(csv_files):
    for files in raw_files:
      csv_files.append('{}/{}'.format(files_directory,files))

    for file in csv_files:
        df = pd.read_csv(file, parse_dates=True)

        ### Clean leap years and create just one colum with all data
        df = df.dropna(axis=0) #remove row with feb 29
        df1 = df.drop(df.columns[[0,1]], axis = 1) #remove month and day column
        data = pd.Series(df1.values.ravel('A'))
        
        ##Create years dataframe
        year=list(df1)
        a = [np.repeat(yr, 366) for yr in year]
        df3= pd.DataFrame(a)
        years = pd.Series(df3.values.ravel('C'))
        
        ### Create dataframe with D/Y Dataframe
        months = df.drop(df.columns[[2,3,4,5,6,7,8,9,10,11,12,13,14]], axis = 1)
        months = pd.concat([months]*13, ignore_index=True)
        
        ### Create dataframe with M/D/Y 
        timestep = pd.concat(([months, years]), axis=1, join='inner')
        timestep.columns = ['Month', 'Day', 'Year']
        nat = pd.concat([timestep, data], axis=1, join='inner')
        print(nat)
        
        ## Save it to csv
        only_file_name = csv_files[0].split("/")[-1][0:-4]
        nat.to_csv('{}/{}_new.csv'.format(files_directory, only_file_name), index=False, mode='w') #if mode is a then it will copy paste below
        
        return csv_files

clean_df(csv_files)

1 个答案:

答案 0 :(得分:1)

这里:

only_file_name = csv_files[0].split("/")[-1][0:-4]

在循环的每次迭代中,您始终使用第一个文件名的修改版本。因此,每次都写入相同的文件。似乎您应该使用:

only_file_name = file.split("/")[-1][0:-4]

(我也避免使用file作为变量名,因为它是Python 2中内置的。)