从txt文件中的一系列行之间的值构造DataFrame

时间:2016-12-08 17:31:57

标签: python regex dictionary dataframe string-parsing

我很难从txt文件中获取非结构化行的值。 Alpha和Beta是我的数据引用的关键,X_1,X_2,X_3是我需要从文件中获取的变量(只是简化,在实际数据中有192个变量)。

我想将每个X_n(n = 1,2,3)的最后一个值(由空格分隔)提取到每对Alpha和Beta值的字典中。或多或少得到像这样的3D面板。 desirable dataframe

file.txt文件中的字符串行,如下所示(解析后):

Alpha = 180
Beta = 0
X_1 3.34 5
X_3 4.34 7
Alpha = 180
Beta = 10
X_1 4.23 2
X_2 3.23 1 
Alpha = 180
Beta = 20
X_2 3.23 9
.
.
.
.
Alpha = 180
Beta = 90
X_1 7.23 3
X_2 9.14 3
X_3 5.91 7 
Alpha = 170
Beta = 0
X_1 7.63 3
X_2 4.84 2
X_3 8.01 8 
.
. 
(and so on)

我的目标是创建如下面的3D面板

Alpha Beta x_1 x_2 x_3
180    0     5   0   7
180    10    2   1   0
180    20    0   0   9

180    90    3   3   7
170     0    3   2   8

到目前为止我已经尝试过了。我可以使用正则表达式获取X_1,X_2 X_3的值

readings = []
with open('file.txt') as inputfile:
    for line in inputfile:
    readings.append(line.strip())

x_1_list =[]
for r in readings:
    if re.search('x_1,r')
        c = re.split(r'\s+',r)[-1]
        x_1_list.append(c)
    else:
        x_1_list.append(0.0)

但是,我无法为每个Alpha和Beta值使用for循环此函数。

有什么建议吗?

1 个答案:

答案 0 :(得分:0)

我建议将输入文件解析为['Alpha','Beta','X_1','X_2','X_3']值的组,即逐个组,而不是逐行。

以下是工作代码。我希望它能解释,但如果需要澄清,请发表评论。

KEYS = ['Alpha', 'Beta', 'X_1', 'X_2', 'X_3']
GROUP_START_MARKER = KEYS[0]


def parse_group(handle, line):
    value_dict = {}
    assert line.startswith(GROUP_START_MARKER)
    alpha_value = line.split(' = ')[1]
    value_dict[GROUP_START_MARKER] = alpha_value
    line = handle.readline().strip()
    assert line.startswith('Beta')
    beta_value = line.split(' = ')[1]
    value_dict['Beta'] = beta_value
    readings = []
    while True:
        line = handle.readline().strip()
        if line.startswith(GROUP_START_MARKER):
            break
        if not line:
            break
        key, _, value = line.split()
        value_dict[key] = value
    return value_dict, line


def parse_file(filename):
    value_list = []
    with open(filename) as inputfile:
        line = inputfile.readline().strip()
        while True:
            if line.startswith(GROUP_START_MARKER):
                value_dict, line = parse_group(inputfile, line)
                if not line:
                    return
                yield value_dict


it = parse_file('file.txt')
print '\t'.join(KEYS)
for value_dict in it:
    print '\t'.join(map(str, [value_dict.get(key, 0.0) for key in KEYS]))