我正在使用spark-JDBC连接从postgresql数据库加载数据到spark数据帧。
我可以通过建立连接来读取PSQL表数据,但是在尝试使用
查看整个表时tweetsDF = sqlContext.sql("SELECT * FROM twitter_tweets").show()
我正面临UnicodeEncodeError
File "/home/jmeruga/Documents/SPARK/spark/examples/src/main/python/sql/datasource1.py", line 33, in <module>
tweetsDF = sqlContext.sql("SELECT * FROM twitter_tweets").show()
File "/usr/local/spark/spark-2.2.0-bin-hadoop2.7/python/lib/pyspark.zip/pyspark/sql/dataframe.py", line 336, in show
UnicodeEncodeError: 'ascii' codec can't encode characters in position 12476-12481: ordinal not in range(128)
当该字段的值更多时,我遇到上述错误。
有谁能建议我如何在pyspark中解决这个问题?