Question

每次使用这种长方法读取CSv文件作为列表时，我们都能简化一下吗？

创建空列表
逐行读取文件并追加到列表中

filename = 'mtms_excelExtraction_m_Model_Definition.csv'
Ana_Type = []
Ana_Length = []
Ana_Text = []
Ana_Space = []                                                                                                                                                                                                                                                                     
with open(filename, 'rt') as f:  
    reader = csv.reader(f)   
    try:
        for row in reader:
            Ana_Type.append(row[0])
            Ana_Length.append(row[1])
            Ana_Text.append(row[2])
            Ana_Space.append(row[3])            
    except csv.Error as e:
        sys.exit('file %s, line %d: %s' % (filename, reader.line_num, e))

Answer 1

这是您开始使用pandas并使用DataFrames的好机会。

import pandas as pd

df = pd.read_csv(path_to_csv)

1-2行（取决于是否计算导入）代码行，您就完成了！

Answer 2

这实际上是不使用numpy即可处理CSV文件的numpy方法。它是否比您的原始方法更好，几乎取决于口味。与numpy或Pandas方法的共同点是，将整个文件加载到内存中，而不是将其转换为列表：

with open(filename, 'rt') as f:  
    reader = csv.reader(f)   
    tmp = list(reader)
Ana_Type, Ana_Length, Ana_Text, Ana_Space = [[tmp[i][j] for i in range(len(tmp))]
                                             for j in range(len(tmp[0]))]

它使用较少的代码，并使用理解而不是重复的附加内容来构建数组，但是会增加内存（如numpy或pandas一样）。

根据您以后处理数据的方式，numpy或Pandas可能是一个不错的选择。因为恕我直言，仅使用它们将csv文件加载到列表中是不值得的。

Answer 3

您可以使用DictReader

import csv

with open(filename, 'rt') as f:  
    data = list(csv.DictReader(f, fieldnames=["Type", "Length", "Text", "Space"]))

print(data)

这将为您提供list个对象中的单个dict，每行一个。

Answer 4

这可能有用：

import numpy as np
# read the rows with Numpy
rows = np.genfromtxt('data.csv',dtype='str',delimiter=';')
# call numpy.transpose to convert the rows to columns
cols = np.transpose(rows)

# get the stuff as lists
Ana_Type = list(cols[0])
Ana_Length = list(cols[1])
Ana_Text = list(cols[2])
Ana_Space = list(cols[0])

编辑：请注意，第一个元素将是列的名称（带有测试数据的示例）：

['Date', '2020-03-03', '2020-03-04', '2020-03-05', '2020-03-06']

Answer 5

尝试一下

import csv
from collections import defaultdict
d = defaultdict(list)
with open(filename, mode='r') as csv_file:
    csv_reader = csv.DictReader(csv_file)
    for row in csv_reader:
        for k,v in row.items():
            d[k].append(v)

下一个

d.keys()
dict_keys(['Ana_Type', 'Ana_Length', 'Ana_Text', 'Ana_Space'])

下一个

d.get('Ana_Type')
['bla','bla1','df','ccc']

Answer 6

通过读取csv并使用zip内置函数来转置行，可以避免对list.append的重复调用。

import io, csv

# Create an example file
buf = io.StringIO('type1,length1,text1,space1\ntype2,length2,text2,space2\ntype3,length3,text3,space3')

reader = csv.reader(buf)
# Uncomment the next line if there is a header row
# next(reader)

Ana_Types, Ana_Length, Ana_Text, Ana_Space = zip(*reader)

print(Ana_Types)
('type1', 'type2', 'type3')
print(Ana_Length)
('length1', 'length2', 'length3')
...

如果您需要列表而不是元组，则可以使用列表或生成器理解来转换它们：

Ana_Types, Ana_Length, Ana_Text, Ana_Space = [list(x) for x in zip(*reader)]

有什么更好的方法来读取文件吗？

6 个答案: