我有一个二进制类型二进制列的表：
>>> df.show(3)
+--------+--------------------+
| t| bytes|
+--------+--------------------+
|0.145533|[10 50 04 89 00 3...|
|0.345572|[60 94 05 89 80 9...|
|0.545574|[99 50 68 89 00 7...|
+--------+--------------------+
only showing top 3 rows
>>> df.schema
StructType(List(StructField(t,DoubleType,true),StructField(bytes,BinaryType,true)))
如果我提取二进制文件的第一个字节，我从Spark得到一个例外：
>>> df.select(n["t"], df["bytes"].getItem(0)).show(3)
AnalysisException: u"Can't extract value from bytes#477;"
ArrayType(ByteType)的演员也无效：
>>> df.select(n["t"], df["bytes"].cast(ArrayType(ByteType())).getItem(0)).show(3)
AnalysisException: u"cannot resolve '`bytes`' due to data type mismatch: cannot cast BinaryType to ArrayType(ByteType,true) ..."
如何提取字节？
答案 0 :(得分：2)
你可以为此制作一个简单的udf：
from pyspark.sql import functions as f
a = bytearray([10, 50, 04])
df = sqlContext.createDataFrame([(1, a), (2, a)], ("t", "bytes"))
df.show()
+---+----------+
| t| bytes|
+---+----------+
| 1|[0A 32 04]|
| 2|[0A 32 04]|
+---+----------+
u = f.udf(lambda a: a[0])
df.select(u(df['bytes']).alias("first")).show()
+-----+
|first|
+-----+
| 10|
| 10|
+-----+
修改
如果你想将提取的位置作为参数，你可以做一些讨论：
func = lambda i: lambda a: a[i]
my_udf = lambda i: f.udf(func(i))
df.select(my_udf(2)(df['bytes']).alias("last")).show()
+----+
|last|
+----+
| 4|
| 4|
+----+
答案 1 :(得分：0)
另一种方法是使用原生 API 函数 substring (docs)，它可以使用位置和长度参数“切片”二进制类型。
以下是接受答案示例后的演示：
df.select("*",
f.substring("bytes", 2, 1),
f.substring("bytes", 2, 1).cast("string")).show()
+---+----------+----------------------+--------------------------------------+
| t| bytes|substring(bytes, 2, 1)|CAST(substring(bytes, 2, 1) AS STRING)|
+---+----------+----------------------+--------------------------------------+
| 1|[0A 32 04]| [32]| 2|
| 2|[0A 32 04]| [32]| 2|
+---+----------+----------------------+--------------------------------------+