如何使用Cassandra键空间创建Spark数据框?

时间:2019-03-20 12:59:43

标签: apache-spark cassandra pyspark spark-cassandra-connector

我在本地安装了Cassandra。我必须使用Google Colab在Spark中工作,并且可以从本地数据库运行查询。但我知道可以更有效地连接spark和cassandra。我想使用cassandra键空间中的数据创建一个数据框。你怎么做?

我的键空间称为yelp_data。它包含“评论”和“业务”表。

在我的项目中,我想要一个数据框df =(来自我的Cassandra键空间的数据)。 我使用pyspark。

1 个答案:

答案 0 :(得分:0)

只需遵循documentation for Spark Cassandra Connector,然后将A1:F10与正确的选项结合使用,如下所示:

spark.read