如何在熊猫中读取多CSV？

Question

我有一个类似于以下内容的日志文件：

A, colA1, colA2
B, colB1,
C, colC1, colC2, colC3, colC4
A, 1, 3
B, 2
C, 3, 1, 2, 4
...

基本上，日志文件包含多个 CSV文件。每行以csv文件的标识符开头，然后转储一行。

当前，我在日志上使用grep A,返回以下输出：

A, colA1, colA2
A, 1, 3
...

然后我可以使用熊猫将其读入数据框。但是，我必须对B和C执行此操作。 我想知道是否有一种方法可以一次性加载此日志文件，而无需执行将中间文件存储和存储到本地csv文件的中间步骤？

Answer 1

熊猫索引在这里可以提供帮助。只需在一个对象中读取文件，然后应用条件以根据指标列将数据分离到三个对象中即可。

检查以下示例：

import pandas as pd
complete_obj = pd.read_csv(file_loc)

file_A_obj = complete_obj[complete_obj['indicator_col']=='A']
file_B_obj = complete_obj[complete_obj['indicator_col']=='B']
file_C_obj = complete_obj[complete_obj['indicator_col']=='C']