Question

我将数据帧转换为csv

tf.nn.weighted_cross_entropy_with_logits

上面的代码生成一个分区的csv文件。＆＃39; res.csv＆＃39;是一个包含多个文件的目录（。 SUCCESS .crc，.part-xxxxx.crc）

我将res.csv上传到s3（s3：//路径）。然后我尝试使用copy命令将res.csv复制到REDSHIFT。

df.write.format('com.databricks.spark.csv')\
    .option("inferSchema", "true")\
    .option("delimiter", "|") \
    .save('res.csv')

但它不适用于跟随错误。我从表格中得到了这个错误＆＃39; stl_load_errors＆＃39;

100 1 165722 2016-07-29   21:43:42 7490 1968765 s3：//r630166/res.csv.gz/._SUCCESS.crc
  1 0 crc
  1216缺少换行符：在位置2找到意外字符0x63 **

100 0 165722 2016-07-29 21:43:42 7490 1968765 s3：//r630166/res.csv.gz/.part-00000.crc 1 0   CRC
  1216缺少换行符：在位置2找到意外字符0x63

当我指向res.csv目录中包含数据的确切文件时，

复制命令工作

不能将CSV复制到REDSHIFT

0 个答案: