Pyspark：在动态配置单元查询中获取current_timestamp

Question

我正在使用python程序准备Spark，该程序根据联接插入来自2个表的数据。目标表的最后一列有一个时间戳字段，其值为create timestamp。

我尝试了current_timestamp和from_unixtime（unix_timestamp（））。这两个功能似乎都不起作用。我现在试过（）。

例如，HiveContext（sc）.sql（“SELECT”+ from_unixtime（unix_timestamp（））+“”） 带有“NameError：name'from_unixtime'的pyspark中的语句错误未定义”我已导入pyspark.sql.function

有没有办法将时间戳值插入目标表？我的查询包含insert with select from 2 tables，我在HiveContext中运行。

提前感谢!!!

Answer 1

在双引号内使用，如下所示：

HiveContext（sc）.sql（＆＃34; SELECT from_unixtime（unix_timestamp（））＆＃34;）