带有时间戳名称的pySpark输出文件

时间:2020-06-05 13:37:45

标签: pyspark timestamp

我需要用时间戳命名我的输出文件,但出现错误。不确定我在做什么错

timestamp = spark.sql("select string(date_format(current_timestamp,'yyyy/MM/dd_HH:mm:ss'))").collect()[0][0]
print(timestamp)


Error: ADLException: Error getting info for file 
/06/05_13:14:01

如果我使用当前日期而不是时间戳,则没有错误。但是我需要时间戳

1 个答案:

答案 0 :(得分:2)

在文件命名中不允许某些角色:

#L1234_ABC123_2020/06/05_13:14:01无效。例如,尝试使用类似#L1234_ABC123_20200605_131401或下划线_的方法。基本上不允许使用冒号: