Question

我正在尝试使用Cassandra中的Apache Spark作业将数据插入eclipse。我能够运行我的示例代码，但面临复杂表设计的问题。

有人可以帮忙解决这个问题吗？

Caused by: java.io.IOException: Failed to write statements to test.events.
    at com.datastax.spark.connector.writer.TableWriter$$anonfun$write$1.apply(TableWriter.scala:167)
    at com.datastax.spark.connector.writer.TableWriter$$anonfun$write$1.apply(TableWriter.scala:135)
    at com.datastax.spark.connector.cql.CassandraConnector$$anonfun$withSessionDo$1.apply(CassandraConnector.scala:111)
    at com.datastax.spark.connector.cql.CassandraConnector$$anonfun$withSessionDo$1.apply(CassandraConnector.scala:110)
    at com.datastax.spark.connector.cql.CassandraConnector.closeResourceAfterUse(CassandraConnector.scala:140)
    at com.datastax.spark.connector.cql.CassandraConnector.withSessionDo(CassandraConnector.scala:110)
    at com.datastax.spark.connector.writer.TableWriter.write(TableWriter.scala:135)
    at com.datastax.spark.connector.streaming.DStreamFunctions$$anonfun$saveToCassandra$1$$anonfun$apply$1.apply(DStreamFunctions.scala:54)
    at com.datastax.spark.connector.streaming.DStreamFunctions$$anonfun$saveToCassandra$1$$anonfun$apply$1.apply(DStreamFunctions.scala:54)
    at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:87)
    at org.apache.spark.scheduler.Task.run(Task.scala:99)
    at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:282)
    ... 3 more

Answer 1

首先尝试删除密钥，然后查看是否只有一个密钥可用。我可以看到你正在使用日期，所以它可以是唯一的，只是尝试首先插入几个记录，如果这不起作用，请参阅日期，如果您使用的日期格式有任何问题，因为它可以因为你有很多问题，我曾经遇到过类似的问题，而且我检查了我的约会，不知怎的，在操纵期间，它变成了12-00-2012，所以因为cassandra投掷错误。

如果示例代码有效，则意味着配置不应存在任何问题。

为cassandra连接器运行spark作业时出错 - 引起：java.io.IOException：无法将语句写入test.events

1 个答案: