如何使用Python在Spark Streaming中获取笛卡尔DStream?

时间:2016-10-01 08:02:44

标签: python apache-spark pyspark

我有包含用户模型的DStream,我想通过python API创建用户cartesian。

我查了this post for scala API 然后我创建了用于创建用户cartesian的下一个脚本。

user_cartesian = user_models.transform(lambda user: user.cartesian(user))

但是,下一个错误发生了。

java.lang.ClassCastException: org.apache.spark.api.java.JavaPairRDD cannot be cast to org.apache.spark.api.java.JavaRDD

user_models是包含[user1, user2...]用户实例的普通Array DStream,不包含对(元组)实例。
我不知道为什么会发生这种恐怖 如果有人有建议,请告诉我。

0 个答案:

没有答案