将RDD [CassandraRow]转换为RDD [String]

Question

是否可以将RDD [CassandraRow]转换为RDD [String]？如果是这样，对转换后的RDD有什么不利吗？

Answer 1

您可以使用sqlContext从Cassandra表读取数据，它返回一个DataFrame，当您使用sparkContext读取文本文件时，它返回RDD，然后您可以将其转换为DataFrame。

如果你的文本文件是CSV，Spark 2.0支持csv数据源，它会通过deafult返回一个DataFrame。请看这个.. https://spark.apache.org/releases/spark-release-2-0-0.html#new-features和https://github.com/databricks/spark-csv/issues/

<强>更新

https://databricks.com/blog/2015/04/13/deep-dive-into-spark-sqls-catalyst-optimizer.html