使用saveAsTable时,Python datatime数据帧在自动转换为Unix时间戳

时间:2018-10-01 17:15:20

标签: python pandas apache-spark

我正在使用以下代码将python数据帧转换为spark数据帧。除了其中一列显示日期的事实以外,其他所有内容似乎都可以正常运行。这将转换为unix时间戳。

我尝试了以下方法,但是它们都不起作用: 1.使用pd.datetime将日期(之前属于类型对象)转换为datetime 2.将日期转换为字符串数据类型 3.首先定义一个架构,然后使用该架构编写表

还有其他方法吗

spark = initialize_spark(app_name= 'caching test', cores_max = "16",  
executor_memory = 
"32g",PYSPARK_DRIVER_PYTHON='python2.7',PYSPARK_PYTHON='python2.7')
schema_name=getpass.getuser()
table_name = "JIRA_report_horizontal_20180110"
df_spark = spark.createDataFrame(horizontal)
table_string=schema_name+"."+ table_name
df_spark.write.saveAsTable(table_string,format='ORC',mode='append')

我无法显示整个代码,因为它是机密的。有人可以帮我吗?

0 个答案:

没有答案