Question

我有一个.txt文件，其数据如下：

[12.06.17, 13:18:36] Name1: Test test test
[12.06.17, 13:20:20] Name2 ❤️: blabla
[12.06.17, 13:20:44] Name2 ❤️: words words words
words
words
words
[12.06.17, 13:29:03] Name1: more words more words
[12.06.17, 13:38:52] Name3 Surname Nickname: 
[12.06.17, 13:40:37] Name1: message?

请注意，在消息之前可以有多个名称，也可以出现多行消息。在过去的几天里，我已经尝试了很多方法，将数据分为“日期”，“时间”，“名称”，“消息”组。

我能够弄清楚正则表达式

(.)(\d+\.\d+\.\d+)(,)(\s)(\d+:\d+:\d+)(.)(\s)([^:]+)(:)

能够捕获消息之前的所有内容（参见：https://regex101.com/r/hQlgeM/3）。但是我不知道如何添加消息，以便将多行消息分组到上一条消息中。

最后：如果我能够使用正则表达式从.txt中捕获每个组，那么实际上如何将每个组传递到单独的列中。我一直在看过去三天的示例，但仍然无法弄清楚如何最终构造此数据框。

我尝试使用的代码：

df = pd.read_csv('chat.txt', names = ['raw'])

data = df.iloc[:,0]

re.match(r'\[([^]]+)\] ([^:]+):(.*)', data)

另一种无效的尝试：

input_file = open("chat.txt", "r", encoding='utf-8')

content = input_file.read()

df = pd.DataFrame(content, columns = ['raw'])

df['date'] = df['raw'].str.extract(r'^(.)(\d+\.\d+\.\d+)', expand=True)

df['time'] = df['raw'].str.extract(r'(\s)(\d+:\d+:\d+)', expand=True)

df['name'] = df['raw'].str.extract(r'(\s)([^:]+)(:)', expand=True)

df['message'] = df['raw'].str.extract(r'^(.)(?<=:).*$', expand=True)

df

Answer 1

完整的解决方案如下

import pandas as pd
import io, re

file_path = 'chat.txt'
rx = re.compile(r'\[(?P<date>\d+(?:\.\d+){2}),\s(?P<time>\d+(?::\d+){2})]\s(?P<name>[^:]+):(?P<message>.*)')
col_list = []
date = time = name = message = ''

with io.open(file_path, "r", encoding = "utf-8", newline="\n") as sr:
    for line in sr:
        m = rx.match(line)
        if m:
            col_list.append([date, time, name, message])
            date = m.group("date")
            time = m.group("time")
            name = m.group("name")
            message = m.group("message")
        else:
            if line:
                message += line

df = pd.DataFrame(col_list, columns=['date', 'time', 'name', 'message'])

模式详细信息

\[-一个[字符
(?P<date>\d+(?:\.\d+){2})-组“日期”：1个以上的数字，然后是两个重复的.和两个数字
,\s-,和空格
(?P<time>\d+(?::\d+){2})-组“时间”：1个以上的数字，然后是两个重复的:和两个数字
]\s-]和空格
(?P<name>[^:]+)-组“名称”：:以外的一个或多个字符
:-冒号
(?P<message>.*)-组“消息”：最多0个字符，直到行尾。

然后，逻辑如下：

读取一行并针对该模式进行测试
如果存在匹配项，则会初始化日期，时间，名称和消息这四个变量-详细信息
如果下一行与模式不匹配，则将其视为消息的一部分，并因此附加到message变量中。

Answer 2

这是我认为适用于我的情况的解决方案。问题是当我是txt数据时我正在使用read_csv（）。另外，在传入熊猫之前，我还需要使用正则表达式来构建格式：

import re
import pandas as pd

chat = open('chat.txt').read()
pattern = r'(?s)\[(?P<date>\d+(?:\.\d+){2}),\s(?P<time>\d+(?::\d+){2})]\s(?P<name>[^:]+):(?P<message>.*?)(?=\[\d+\.\d+\.\d+,\s\d+:\d+:\d+]|\Z)'

for row in re.findall(pattern, chat):
    row

df = pd.DataFrame(re.findall(pattern, chat), columns=['date', 'time', 'name', 'message'])

print (df.tail)

将.txt数据分组为数据框

2 个答案: