如何使用机器学习从电子邮件中提取特定信息?

时间:2019-01-08 16:43:43

标签: python machine-learning nlp

我有多封电子邮件,其中列出了库存,价格和数量。每天,列表的格式都有所不同,我希望使用NLP来尝试理解数据中的读取内容并重新格式化以正确的格式显示信息。

以下是我收到的电子邮件的示例:

Symbol  Quantity    Rate
AAPL    16        104
MSFT    8.3k      56.24
GS      34        103.1
RM      3,400     -10
APRN    6k        11
NP      14,000    -44

如我们所见,数量以不同的格式出现,股票代码始终是标准的,但汇率是正数或负数,也可以是小数。另一个问题是标头并不总是相同,因此不是我可以依赖的标识符。

到目前为止,我在网上已经看到一些示例,这些示例适用于名称,但是我无法针对股票行情,数量和价格来实现。到目前为止,我尝试过的代码如下:

import re
import nltk
from nltk.corpus import stopwords
stop = stopwords.words('english')

string = """

To: "Anna Jones" <anna.jones@mm.com>
From: James B.

Hey,
This week has been crazy. Attached is my report on IBM. Can you give it a quick read and provide some feedback.
Also, make sure you reach out to Claire (claire@xyz.com).
You're the best.
Cheers,
George W.
212-555-1234
"""


def extract_phone_numbers(string):
    r = re.compile(r'(\d{3}[-\.\s]??\d{3}[-\.\s]??\d{4}|\(\d{3}\)\s*\d{3}[-\.\s]??\d{4}|\d{3}[-\.\s]??\d{4})')
    phone_numbers = r.findall(string)
    return [re.sub(r'\D', '', number) for number in phone_numbers]


def extract_email_addresses(string):
    r = re.compile(r'[\w\.-]+@[\w\.-]+')
    return r.findall(string)


def ie_preprocess(document):
    document = ' '.join([i for i in document.split() if i not in stop])
    sentences = nltk.sent_tokenize(document)
    sentences = [nltk.word_tokenize(sent) for sent in sentences]
    sentences = [nltk.pos_tag(sent) for sent in sentences]
    return sentences


def extract_names(document):
    names = []
    sentences = ie_preprocess(document)
    for tagged_sentence in sentences:
        for chunk in nltk.ne_chunk(tagged_sentence):
            if type(chunk) == nltk.tree.Tree:
                if chunk.label() == 'PERSON':
                    names.append(' '.join([c[0] for c in chunk]))
    return names


if __name__ == '__main__':
    numbers = extract_phone_numbers(string)
    emails = extract_email_addresses(string)
    names = extract_names(string)

    print(numbers)
    print(emails)
    print(names)

此代码在处理数字,电子邮件和姓名方面做得很好,但是我无法在我的示例中重复此操作,也不知道该怎么做。任何提示都将大有帮助。

1 个答案:

答案 0 :(得分:0)

您可以构建用于检查数字和金额的正则表达式。

但是对于木棍,您将不得不做一些不同的事情。我怀疑股票名称并非总是以大写字母写在电子邮件中。如果他们只是写一个脚本,它将使用来自某些证券交易所的API并仅运行所有字母均以大写形式出现的单词。但是,如果股票名称不是用大写字母写在电子邮件中,则可以做几件事。您可以查看该证券交易所电子邮件中的每个单词(如果它是贴名)。如果您想加快该过程,可以尝试进行依赖项解析,并仅对API运行名词或代词。