Question

我正在处理泰卢固语文本以分析一些文本标记。

>>> sent = "నా పేరు కరీం ఉంది. నేను భారత ఆహార ప్రేమ.".decode('utf-8')    
>>> text = sent
>>> text = nltk.word_tokenize(text)
>>> result = nltk.pos_tag(text)
>>> for val in result:
...     print list(val)[0], list(val)[1]
... 
నా JJ
పేరు NNP
కరీం NNP
ఉంది NNP
. .
నేను VB
భారత JJ
ఆహార NNP
ప్రేమ NNP

这样我就能在泰卢固语中看到结果。

对于同一文本，当我尝试这种方式时，它会在结果中给出unicode字符串。 如何在泰卢固语中打印令牌？

>>> s = "నా పేరు కరీం ఉంది. నేను భారత ఆహార ప్రేమ.".decode('utf-8')
>>> res = s.split(' ')
>>> res[0]
u'\u0c28\u0c3e'
>>> type(res[0])
<type 'unicode'>
>>> res[0].encode('ascii')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)
>>> res[0].encode('utf-8')
'\xe0\xb0\xa8\xe0\xb0\xbe'

编辑：

print res[0]正确地给了它。但是当我执行将此代码放在.py脚本中并运行它时。它给出了

ubuntu@DELL-PC:~/Documents/codes$ python test.py 
  File "test.py", line 1
SyntaxError: Non-ASCII character '\xe0' in file test.py on line 1, but no encoding declared; see http://www.python.org/peps/pep-0263.html for details

test.py包含：

s = "నా పేరు కరీం ఉంది. నేను భారత ఆహార ప్రేమ.".decode('utf-8')
a = s.split()
for i in a:
    print i

Answer 1

由于我没有在我的控制台中提供Telugu最简单的答案是使用Jupyter在浏览器中运行您的python会话 - 这样就可以解决终端字符集周围的很多问题等等。

然后我可以简单地print结果：

s = "నా పేరు కరీం ఉంది. నేను భారత ఆహార ప్రేమ.".decode('utf-8')
a = s.split()
for i in a:
    print(i)
నా
పేరు
కరీం
ఉంది.
నేను
భారత
ఆహార
ప్రేమ.

请注意，将此类内容放入脚本文件时，您需要使用魔术线启动文件：

#!/usr/bin/env python
#coding:utf-8

推断出OP正在运行python2我已经进行了实验并发现 - 在支持utf-8 的终端中 - 以下给出了从脚本文件运行时看起来很好的结果：

#!/usr/bin/env python
# coding: utf-8
from __future__ import print_function
import nltk

s = "నా పేరు కరీం ఉంది. నేను భారత ఆహార ప్రేమ."  #.decode('utf-8')

a = s.split()
for i in a:
    print(i)

text = nltk.word_tokenize(s.decode('utf-8'))
result = nltk.pos_tag(text)
for val in result:
    print (list(val)[0].encode('utf-8'), list(val)[1])

$ python Untitled2.py
నా
పేరు
కరీం
ఉంది.
నేను
భారత
ఆహార
ప్రేమ.
నా JJ
పేరు NNP
కరీం NNP
ఉంది NNP
. .
నేను VB
భారత JJ
ఆహార NNP
ప్రేమ NNP
. .

Python以可读格式打印非英语（泰卢固语）文本

1 个答案: