TL; DR - 我在PySpark应用程序中看起来像字符串的DStream。我想将它作为DStream[String]
发送到Scala库。但是字符串不会被Py4j转换。
我正在使用PySpark应用程序,该应用程序使用Spark Streaming从Kafka提取数据。我的消息是字符串,我想在Scala代码中调用一个方法,并将其传递给DStream[String]
实例。但是,我无法在Scala代码中接收正确的JVM字符串。在我看来,Python字符串不会转换为Java字符串,而是序列化。
我的问题是:如何从DStream
对象中获取Java字符串?
这是我提出的最简单的Python代码:
from pyspark.streaming import StreamingContext
ssc = StreamingContext(sparkContext=sc, batchDuration=int(1))
from pyspark.streaming.kafka import KafkaUtils
stream = KafkaUtils.createDirectStream(ssc, ["IN"], {"metadata.broker.list": "localhost:9092"})
values = stream.map(lambda tuple: tuple[1])
ssc._jvm.com.seigneurin.MyPythonHelper.doSomething(values._jdstream)
ssc.start()
我在PySpark中运行此代码,将其路径传递给我的JAR:
pyspark --driver-class-path ~/path/to/my/lib-0.1.1-SNAPSHOT.jar
在Scala方面,我有:
package com.seigneurin
import org.apache.spark.streaming.api.java.JavaDStream
object MyPythonHelper {
def doSomething(jdstream: JavaDStream[String]) = {
val dstream = jdstream.dstream
dstream.foreachRDD(rdd => {
rdd.foreach(println)
})
}
}
现在,让我们说我将一些数据发送到Kafka:
echo 'foo bar' | $KAFKA_HOME/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic IN
Scala代码中的println
语句打印出如下内容:
[B@758aa4d9
我希望得到foo bar
。
现在,如果我使用以下内容替换Scala代码中的简单println
语句:
rdd.foreach(v => println(v.getClass.getCanonicalName))
我明白了:
java.lang.ClassCastException: [B cannot be cast to java.lang.String
这表明字符串实际上是作为字节数组传递的。
如果我只是尝试将这个字节数组转换为字符串(我知道我甚至没有指定编码):
def doSomething(jdstream: JavaDStream[Array[Byte]]) = {
val dstream = jdstream.dstream
dstream.foreachRDD(rdd => {
rdd.foreach(bytes => println(new String(bytes)))
})
}
我得到看起来的东西(特殊字符可能会被删除):
�]qXfoo barqa.
这表明Python字符串是序列化的(腌制?)。我怎样才能找回一个合适的Java字符串呢?
答案 0 :(得分:7)
长话短说没有支持的方法来做这样的事情。不要在生产中尝试这种方法。你已被警告过了。
一般情况下,Spark不会将Py4j用于驱动程序上的一些基本RPC调用,也不会在任何其他计算机上启动Py4j网关。当需要它时(主要是MLlib和SQL的某些部分),Spark使用Pyrolite来序列化在JVM和Python之间传递的对象。
这部分API是私有(Scala)或内部(Python),因此不适用于一般用途。理论上,无论如何,您每批都可以访问它:
package dummy
import org.apache.spark.api.java.JavaRDD
import org.apache.spark.streaming.api.java.JavaDStream
import org.apache.spark.sql.DataFrame
object PythonRDDHelper {
def go(rdd: JavaRDD[Any]) = {
rdd.rdd.collect {
case s: String => s
}.take(5).foreach(println)
}
}
完整的信息流:
object PythonDStreamHelper {
def go(stream: JavaDStream[Any]) = {
stream.dstream.transform(_.collect {
case s: String => s
}).print
}
}
或将单个批次暴露为DataFrames
(可能是最不邪恶的选项):
object PythonDataFrameHelper {
def go(df: DataFrame) = {
df.show
}
}
并按如下方式使用这些包装:
from pyspark.streaming import StreamingContext
from pyspark.mllib.common import _to_java_object_rdd
from pyspark.rdd import RDD
ssc = StreamingContext(spark.sparkContext, 10)
spark.catalog.listTables()
q = ssc.queueStream([sc.parallelize(["foo", "bar"]) for _ in range(10)])
# Reserialize RDD as Java RDD<Object> and pass
# to Scala sink (only for output)
q.foreachRDD(lambda rdd: ssc._jvm.dummy.PythonRDDHelper.go(
_to_java_object_rdd(rdd)
))
# Reserialize and convert to JavaDStream<Object>
# This is the only option which allows further transformations
# on DStream
ssc._jvm.dummy.PythonDStreamHelper.go(
q.transform(lambda rdd: RDD( # Reserialize but keep as Python RDD
_to_java_object_rdd(rdd), ssc.sparkContext
))._jdstream
)
# Convert to DataFrame and pass to Scala sink.
# Arguably there are relatively few moving parts here.
q.foreachRDD(lambda rdd:
ssc._jvm.dummy.PythonDataFrameHelper.go(
rdd.map(lambda x: (x, )).toDF()._jdf
)
)
ssc.start()
ssc.awaitTerminationOrTimeout(30)
ssc.stop()
这不支持,未经测试,因此除了使用Spark API进行实验之外别无其他用途。