`saveAsTextFile`方法无法在spark独立集群中运行

Question

我正在使用3节点独立火花群，1个主人和2个工作人员，以及2节点cassandra戒指，这里是我想要做的示例代码

SparkConf conf = new SparkConf(true);
SparkContext sc = new SparkContext(HOST, APP_NAME, conf);

String query = "Select address from " + CASSANDRA_KEYSPACE + "." + CASSANDRA_COLUMN_FAMILY + " where ras_ = '01'";

CassandraSQLContext sqlContext = new CassandraSQLContext(sc);
DataFrame resultsFrame = sqlContext.sql(query);

JavaRDD<Row> resultsRDD = resultsFrame.javaRDD();
JavaRDD<String> dataRDD = resultsRDD.map(row -> row.getString(0));

dataRDD.saveAsTextFile("output");

从System.out.println，我知道我的查询有一些数据，但在我的项目主页output目录中，我得到的唯一文件是{{1} }和_SUCCESS以及._SUCCESS.crc个文件都没有。这是预期的行为吗？如果没有，我哪里错了？

Answer 1

好吧，看起来我们在这里有相同的情况，因为我们都使用多个节点，结果证明文件无法保存在哪个节点上。

就我而言，它没有保存在我运行脚本但是其中一个奴隶的主人身上。

希望有所帮助。