在Python NLTK中打开和预处理文件

时间:2012-09-26 10:21:15

标签: python regex nltk

我是Python NLTK的新手,真的需要你的建议。 我想打开我自己的txt文件并进行一些预处理,比如用正则表达式替换单词。 我试着像在NLTK 2.0 Cookbook中那样做。

import re
replacement_patterns = [
        (r'won\'t', 'will not'),
        (r'can\'t', 'cannot'),
        (r'i\'m', 'i am'),
        (r'ain\'t', 'is not'),
        (r'(\w+)\'ll', '\g<1> will'),
        (r'(\w+)n\'t', '\g<1> not'),
        (r'(\w+)\'ve', '\g<1> have'),
        (r'(\w+t)\'s', '\g<1> is'),
        (r'(\w+)\'re', '\g<1> are'),
        (r'(\w+)\'d', '\g<1> would'),
]
class RegexpReplacer(object):
    def __init__(self, patterns=replacement_patterns):
                self.patterns = [(re.compile(regex), repl) for (regex, repl) in patterns]

    def replace(self, line):
                s = line

                for (pattern, repl) in self.patterns:
                        (s, count) = re.subn(pattern, repl, s)

                return s

它工作得很完美,但我如何将它与我的txt文件一起使用? 我试图按自己的方式行事,但我认为错了

    import nltk
f=open("C:/nltk_data/file.txt", "rU")
raw=f.readlines()
from replacers import RegexpReplacer
replacer=RegexpReplacer()
replacer.replace(raw)
事先提前!!!

1 个答案:

答案 0 :(得分:2)

我认为您希望先使用read method将所有文件内容读入字符串。