Spark支持阿拉伯语文本分析

Question

我想分析阿拉伯语推文，Spark是否支持阿拉伯语？

Answer 1

Spark本身不处理或分析任何语言。它没有内置的NLP（自然语言处理）功能，如情绪分析，你必须使用其他库/框架。

Spark Streaming只允许您以可靠的分布式方式提取字符串集。只要您使用UTF-8（这是Spark和Twitter的默认设置），Twitter消息将按原样保留。