如何在pyspark中的文本文件中保存已处理的kafka DStream?

时间:2018-07-30 20:12:50

标签: python apache-spark pyspark apache-kafka

我从spark中的kafka主题中读取数据,并创建一个DStream,然后使用几个用户定义的函数对其进行处理,我想将结果保存到文本文件中。我尝试了已经实现的saveRec函数,但无法正常工作。它将奇怪的字符打印到文本文件中。

但是当我只是使用pprint()将结果打印到控制台中时,它仍然可以正常工作。

使用pprint()输出到控制台:

[80 81]

[233 234]

[273 273]

[469 469]

[621 621]

[667 668]

[809 809]

[926 927]

[935 936]

[1001 1001]

export PYTHONPATH="C:\path\to\folder;C:\another\path\to\folder"

有人知道是什么问题吗?

0 个答案:

没有答案