带有pyspark数据框的NullPointerException

Question

我有一个pyspark数据框，.show（）指示一切正常，但.toPandas（）、. count（）、. write.parquet（“ abc / abc_pred.parquet”）都导致NullPointerException。我无法对此数据框执行任何操作。有什么想法可以导出此数据框吗？

Answer 1

供您参考创建数据框

let json = """
[
  {
    "blah1": true,
    "blah2": "ABCDEF",
    "blah3": "12345"
  }
]
""".data(using: .utf8)!

struct Bla: Codable {
    let blah1: Bool
    let blah2: String
    let blah3: String
}

do {
    // use [Bla].self to decode an array, or Bla.self for a single instance
    let bla = try JSONDecoder().decode([Bla].self, from: json)
    print(bla)
} catch {
    print(error)
}