如何使用python从推文中将短词替换为完整的词

时间:2018-05-07 18:35:42

标签: python twitter nlp nltk data-science

我正在对推文进行情绪分析。大多数推文包含简短的单词,我想将它们替换为原始/完整的单词。

假设推文是:

I was wid Ali.

我想转换:

wid -> with

类似地

wud -> would
u -> you
r -> are

我有6000条推文,其中有很多短语。 我怎么能取代它们?这个任务在python中有没有可用的库?或在线提供的任何短语词典?

我读了Replace appostrophe/short words in python问题的答案,但它只提供了近视字典。

目前我正在使用NLTK,但NLTK无法完成此任务。

1 个答案:

答案 0 :(得分:0)

以下网站似乎有必要的字典: https://www.noslang.com/search 您可以从python代码发送请求并获取翻译。

以下是工作代码:

import requests
prefixStr = '<div class="translation-text">'
postfixStr = '</div'

slangText = 'I was wid Ali.'

r = requests.post('https://www.noslang.com/', {'action': 'translate', 'p': 
slangText, 'noswear': 'noswear', 'submit': 'Translate'})
startIndex = r.text.find(prefixStr)+len(prefixStr)
endIndex = startIndex + r.text[startIndex:].find(postfixStr)
print(r.text[startIndex:endIndex])