Question

我正在尝试研究如何使用pandas递归导航文件夹子文件夹，将每个文件放在子文件夹中，并将其合并为每个子文件夹的一个CSV文件。

所以我在类似下面的结构中有多个文件。我想获取每个子文件夹并将其各自的CSV合并到每个子文件夹的一个文件中。请参阅第二个插图文件夹树。我之前没有使用过pandas，但我认为我走在正确的轨道上，我正在努力为每个相应的子文件夹制定逻辑。请参阅下面的我当前的代码。

*注意，每个CSV文件的列结构都相同。

合并前

Folder
      Sub-Folder1
               File1.csv
               File2.csv
               File3.csv
               File4.csv
      Sub-Folder2
               File1.csv
               File2.csv
      Sub-Folder3
               File1.csv
               File2.csv

合并后

Folder
      Sub-Folder1
               Final.csv
      Sub-Folder2
               Final.csv
      Sub-Folder3
               Final.csv

当前代码

import pandas as pd

working_dir = "/dir/"

for root, dirs, files in os.walk(working_dir):
    file_list = []
    for filename in files:
        file_list.append(root + "/" + filename) 
    df_list = [pd.read_table(file) for file in file_list]
    final_df = pd.concat(df_list) 
    final_df.to_csv(root + "/" + "Final.csv")

目前收到以下错误

第ValueError: All objects passed were None行

big_df = pd.concat(df_list)

经过Anand S Kumar建议的更正后，

输出数据

使用不需要或不想要的新列格式化csv，并将数据集完整地放入第二列。

    title1,title2,title3,title4
0   data1,data2,data3,data4
1   data1,data2,data3,data4
2   data1,data2,data3,data4
0   data1,data2,data3,data4
1   data1,data2,data3,data4
2   data1,data2,data3,data4
3   data1,data2,data3,data4

根据Anand S Kumar的建议添加

数据集

title1,title2,title3,title4
13,[Group] data1,[Group] data2,data3
11,[Group] data1,[Group] data2,data3
2,[Group] data1,[Group] data2,data3
1,[Group] data1,[Group] data2,data3

Answer 1

问题很可能是在主目录 - Folder（或/dir根据您的代码），您没有任何文件，因此file_list为空，因此{ {1}}也是空的。因此，当您将空列表传递到df_list时，您将收到该错误。示例 -

pd.concat()

我建议您检查您正在阅读的文件是否真的是文件，并且当您将In [5]: pd.concat([]) --------------------------------------------------------------------------- ValueError Traceback (most recent call last) <ipython> in <module>() ----> 1 pd.concat([]) /path/to/merge.py in concat(objs, axis, join, join_axes, ignore_index, keys, levels, names, verify_integrity, copy) 752 keys=keys, levels=levels, names=names, 753 verify_integrity=verify_integrity, --> 754 copy=copy) 755 return op.get_result() 756 /path/to/merge.py in __init__(self, objs, axis, join, join_axes, keys, levels, names, ignore_index, verify_integrity, copy) 797 798 if len(objs) == 0: --> 799 raise ValueError('All objects passed were None') 800 801 # consolidate data & figure out what our result ndim is going to be ValueError: All objects passed were None传递给.csv时df_list并非空pd.concat() 。另外我建议您使用os.path.join()而不是连接字符串来创建路径。示例 -

import pandas as pd
import os.path
import os

working_dir = "/dir/"

for root, dirs, files in os.walk(working_dir):
    file_list = []
    for filename in files:
        if filename.endswith('.csv'):
            file_list.append(os.path.join(root, filename)) 
    df_list = [pd.read_table(file) for file in file_list]
    if df_list:
        final_df = pd.concat(df_list) 
        final_df.to_csv(os.path.join(root, "Final.csv"))

修改

正如你所说 -

此外，输出还添加了另一个看起来像是id列的列。

进入的新列很可能是DataFrames的索引。

执行DataFrame.to_csv()时，如果您不希望将DataFrame的索引写入csv，则应将index关键字参数指定为False，以便不写入索引到csv。示例 -

final_df.to_csv(os.path.join(root, "Final.csv"), index=False)

递归地将子文件夹中的文件读入列表，并将每个子文件夹的文件合并为每个子文件夹

1 个答案: