使用nltk的tokenizer错误

时间:2009-11-02 21:18:40

标签: python nltk

我是Python的新手,我正在尝试与使用nltk一起学习。

我一直在关注一些示例并对其进行测试,但由于python返回错误,我似乎非常有限。

我知道nltk已安装并导入正常,因为此代码可以正常工作

from nltk.sem import chat80
print chat80.items

但是,'来自nltk.tokenizer import *'会返回

'File "stdin", line1. 
当使用任何类型的“TOKEN =”或者我猜测任何东西的标记时,我都会遇到类似的错误。

我在过去几天安装了很多次python,希望不同的版本或更好的安装可能有所帮助。

我使用activePython2.6在windows7上收到此错误,但我遇到了类似错误 使用python 3.1 activePython3.1和Python 2.6。 以及使用Python 2.5的Mac OSx 10.5。

mac通过“导入错误:没有名为tokenizer的模块。”提供了更多数据。

我只是尝试了一些在线nltk的介绍性演示,甚至还没有尝试编写我自己的代码,而且我得到的错误多于成功。

2 个答案:

答案 0 :(得分:3)

看起来nltp包没有tokenizer包。

快速浏览一下NLTK网站,可以看出from nltp.tokenize import *就是你所追求的。

答案 1 :(得分:0)

对于你的直接“标记化”问题,亚当的回答可能是正确的。以下是一些一般性建议:

当一个人在不熟悉的领域阅读道路标志时会有所帮助,例如这是在下载页面的顶部:“”“虽然Python 3.0现在可用,但许多NLTK所需的软件包没有Python 3.0的发行版。现在你应该使用NLTK和Python 2.4。,2.5。,或2.6。* only。“”“......这样可以省去你尝试Python 3.1的努力。此外,尝试同时学习Python 2.x和3.x对新手来说有点太多了。

“”“我在过去几天里已经多次安装了python,希望不同的版本或更好的安装可能有所帮助”“”...重复安装相同版本不太可能有所帮助。

“”但是,from nltk.tokenizer import *返回File "stdin", line1“”“......在寻求帮助时,显示您的输入和所有输出,例如。

>>> from nosuchthing import *
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
ImportError: No module named nosuchthing
>>>

并且不要从记忆中输入;使用复制/粘贴。

遇到问题时,请计划对可能原因的调查。首先看一下具有高合理性和低调查成本(例如拼写错误或其他转录错误)的那些。我不记得我在哪里读过这个建议,但值得记住:“在你指责上帝的行为和盖茨的行为之前,检查自己的行为”。