我有一个脚本,该脚本使用for循环读取和清理csv文件,然后结果会将其另存为新的csv文件。读取和清理循环对于我的所有csv文件都可以正常工作,直到达到“ to_csv”功能为止。看来它只保存第一个csv文件,而不是全部。
这是我的剧本
files_directory = 'C:/Users/Downloads/data/raw_data'
raw_files = os.listdir(files_directory)
csv_files = []
def clean_df(csv_files):
for files in raw_files:
csv_files.append('{}/{}'.format(files_directory,files))
for file in csv_files:
df = pd.read_csv(file, parse_dates=True)
### Clean leap years and create just one colum with all data
df = df.dropna(axis=0) #remove row with feb 29
df1 = df.drop(df.columns[[0,1]], axis = 1) #remove month and day column
data = pd.Series(df1.values.ravel('A'))
##Create years dataframe
year=list(df1)
a = [np.repeat(yr, 366) for yr in year]
df3= pd.DataFrame(a)
years = pd.Series(df3.values.ravel('C'))
### Create dataframe with D/Y Dataframe
months = df.drop(df.columns[[2,3,4,5,6,7,8,9,10,11,12,13,14]], axis = 1)
months = pd.concat([months]*13, ignore_index=True)
### Create dataframe with M/D/Y
timestep = pd.concat(([months, years]), axis=1, join='inner')
timestep.columns = ['Month', 'Day', 'Year']
nat = pd.concat([timestep, data], axis=1, join='inner')
print(nat)
## Save it to csv
only_file_name = csv_files[0].split("/")[-1][0:-4]
nat.to_csv('{}/{}_new.csv'.format(files_directory, only_file_name), index=False, mode='w') #if mode is a then it will copy paste below
return csv_files
clean_df(csv_files)
答案 0 :(得分:1)
这里:
only_file_name = csv_files[0].split("/")[-1][0:-4]
在循环的每次迭代中,您始终使用第一个文件名的修改版本。因此,每次都写入相同的文件。似乎您应该使用:
only_file_name = file.split("/")[-1][0:-4]
(我也避免使用file
作为变量名,因为它是Python 2中内置的。)