Question

我在python中遇到了一个小问题。我有脚本：

import nltk
def analyzer():
    inputfile=raw_input("Which file?: ")
    review=open(inputfile,'r')
    review=review.read()
    tokens=review.split()

    for token in tokens:
        if token in string.punctuation:         
            tokens.remove(token)
        token=tokens.lower()

应该导入一个txt文件，将其拆分为单词然后删除标点并将全部转换为小写。应该不难，对吗？它只是在标点符号和大写字母完整的情况下仍然返回。没有错误消息，它似乎忽略了部分代码。

非常感谢任何帮助。

Answer 1

我假设您已导入string模块。替换

行

if token in string.punctuation:         
     tokens.remove(token)
     token=tokens.lower()

与

token = token.translate(None,string.punctuation).lower()

此外，字符串在python中是不可变的，因此分配给它们只是重新绑定它不会更改原始标记的名称。如果您想更改令牌，那么您可以执行以下操作

tokens = [token.translate(None,string.punctuation).lower() for token in tokens]

就个人而言，我会清理这样的事情：

def read_tokens(path):
    import string
    with open(path) as f:
        tokens = f.read().split()
        return [ token.translate(None, string.punctuation).lower() for token in tokens ]

read_tokens(raw_input("which file?"))

请注意，这只是对您原始意图的忠实翻译，这意味着像'test.me'这样的“单词”会变成['testme']而不是['test','me']

Answer 2

您的代码中存在几个问题：

首先，split()无法拆分标点符号

其次，如果您使用for token in tokens，则token实际上是tokens中元素的副本，因此token上的更改不会更改tokens。

试试这个：

import string
import re
def analyzer():
    inputfile=raw_input("Which file?: ")
    review=open(inputfile,'r')
    review=review.read()
    tokens=[e.lower() for e in map(string.strip, re.split("(\W+)", review)) if len(e) > 0 and not re.match("\W",e)]

    print tokens

analyzer()

模式[FUNC(x) for x in LIST if COND]给出由FUNC（x）构造的列表，其中x是COND为真时来自LIST的元素。您可以参考filter和map。对于正则表达式部分，您可以查看re

从TXT文件中删除标点符号和大小写

2 个答案: