pyspark:将bytearray字段转换为数据帧中的字符串

时间:2016-09-12 17:41:42

标签: python apache-spark pyspark spark-dataframe

我正在读取数据框中的镶木地板文件:

my_df = sqlContext.read.parquet('hdfs://my_server/user/hive/warehouse/my_db.db/my_table')

如果我这样做:

my_df.head()

我得到了:

Row(id=bytearray(b'00000000000000000000000000000000'), numcores=8, ...)

当我做的时候

my_df.show()

第一个字段ID如下:

[30 30 30 30 30 3...]

如何更改bytearray字段并将其显示为字符串输出?谢谢!

1 个答案:

答案 0 :(得分:0)

如果您要更改head()返回给您的内容,那就不会发生,因为prototype没有提供任何此类功能:

  

头(N =无)