Question

我正在尝试将奇怪格式的文本文件导入到pandas DataFrame中。以下是两个示例行：

LOADED LANE       1   MAT. TYPE=    2    LEFFECT=    1    SPAN=  200.    SPACE=   10.    BETA=   3.474 LOADEFFECT 5075.    LMAX= 3643.    COV=  .13
LOADED LANE       1   MAT. TYPE=    3    LEFFECT=    1    SPAN=  200.    SPACE=   10.    BETA=   3.515 LOADEFFECT10009.    LMAX= 9732.    COV=  .08

首先我尝试了以下内容：

df = pd.read_csv('beta.txt', header=None, delim_whitespace=True, usecols=[2,5,7,9,11,13,15,17,19])

这看起来工作得很好，但是当它碰到上面的示例行时被搞砸了，LOADEFFECT字符串后面没有空格（你可能需要向右滚动一点才能在示例中看到它）。我得到了一个结果：

632   1   2   1  200  10  3.474  5075.  3643.  0.13
633   1   3   1  200  10  3.515  LMAX=   COV=   NaN

然后我决定使用正则表达式来定义我的分隔符。经过多次试错（我不是正则表达式的专家），我设法接近以下几行：

df = pd.read_csv('beta.txt', header=None, sep='/s +|LOADED LANE|MAT. TYPE=|LEFFECT=|SPAN=|SPACE=|BETA=|LOADEFFECT|LMAX=|COV=', engine='python')

这几乎可行，但在一开始就出于某种原因创建了NaN列：

632 NaN  1  2  1  200  10  3.474   5075  3643  0.13
633 NaN  1  3  1  200  10  3.515  10009  9732  0.08

此时我想我可以删除第一列，然后侥幸逃脱。但是我想知道设置正则表达式以正确解析这个文本文件的正确方法是什么。有任何想法吗？除此之外，我确信有一种更聪明的方法来解析这个文本文件。我很高兴听到你的建议。

谢谢！

Answer 1

import re
import pandas as pd
import csv
csvfile = open("parsing.txt") #open text file
reader = csv.reader(csvfile)
new_list=[]
for line in reader:
    for i in line:
        new_list.append(re.findall(r'(\d*\.\d+|\d+)', i))

table = pd.DataFrame(new_list)
table # output will be pandas DataFrame with values

Pandas通过正则表达式使用字符串分隔符读取CSV

1 个答案: