在python上的熊猫中拆分csv文件

时间:2018-08-19 11:09:07

标签: python pandas

我正在尝试在pandas中加载spec列,但它会继续向我打印列的名称,并且还会跳过第一部分

有人可以帮助我吗?

这是我正在使用的代码:

import pandas as pd

pd.set_option('display.max_colwidth', -1)

df_iter = pd.read_csv('tweets.csv', chunksize=10000, iterator=True, usecols=["text"])

df_iter = df_iter[1:]

   for iter_num in enumerate(df_iter, -1):

      for line in df_iter:

         print(line)

1 个答案:

答案 0 :(得分:0)

首先, 由于您正在分块读取csv,因此我认为该文件非常大。您需要遍历这些块以读取文件的所有数据。然后,您可以合并/串联所有这些块。

第二件事,enumerate()不适用于数据帧。您需要iterrows()。

类似的东西-

import pandas as pd 
pd.set_option('display.max_colwidth', -1)
df_iter = pd.read_csv('tweets.csv', chunksize=10000, iterator=True, usecols=["text"])
df_records = [] #list 
for chunk in df_iter:
    df_records.append(chunk)

df_new = pd.concat(df_records)
for iter_num, value in df_new.iterrows():
    print(value[0])