熊猫to_csv导致多余的行

时间:2018-10-28 16:20:05

标签: pandas dataframe

数据帧有906133行,例如:

  
    
      

df.shape

    
  

(906133,24)

然后我尝试将其另存为csv文件:

  
    
      

df.to_csv('df.csv',encoding ='utf-8-sig',index = False)

    
  

然后再次阅读;

  
    
      

test_lines = pd.read_csv('df.csv')

    
  

但是,它现在有更多行:

  
    
      

test_lines.shape

    
  

(16512050,24)

经过观察,多余的行主要包含一系列的点(...........)或逗号(、、、、、、、、、、、、、)。如果我在保存和读取命令中都使用sep ='\ t',则多余的行数会减少,但仍然存在。

1 个答案:

答案 0 :(得分:0)

我遇到了类似的问题,但是我是从头开始构建 csv(不是导入)。

使用这些参数后,我的空行消失了:

df.to_csv('df.csv', mode='w', encoding='utf-8', index=False, line_terminator='\n')

我指责 line_terminator 是罪魁祸首,但 index 参数也负责一些额外的分隔符。我希望这对你也有帮助。 正如@Vishnudev 所写,我们没有您的数据集,因此无法进行测试。如果您提交,我们可以确认。