ParserError：标记数据时出错。 C错误：在源上调用read（nbytes）失败。尝试engine ='python'

Question

当我尝试打开CSV文件（占用500Mb）时收到此错误：

ParserError: Error tokenizing data. C error: Calling read(nbytes) on source failed. Try engine='python'.

这是我用来创建现在尝试打开的文件的代码。此代码读取文件夹中的许多文件，并将它们合并到单个pandas DataFrame中。所有这些文件的列数相同，而行数不同。

base_path = "C://Test"
path, dirs, files = next(os.walk(base_path))

df_main = pd.DataFrame
for f in files:
    file_path = base_path+"/"+f
    df = pd.read_csv(file_path, sep=";", index_col=False)
    if df_main.empty:
        df_main = df
    else:
        df_main = pd.concat([df_main, df], ignore_index=True)