Question

我有一个包含通话时间和通话时间的电话数据框。我如何计算所有电话每天的总持续时间？时间戳是一个字符串，因此我无法将其解析为实际日期。我不确定spark是否支持时间戳。

DataFrame表

  timestamp   |  duration
1414592818364 |   210
1414575535061 |   110
1411328461890 |   140
1434606396339 |   90

Answer 1

您可以使用UDF来解析时间戳。下面你可以找到一个Python解决方案，但使用另一种受支持的语言做同样的事情应该很容易：

使用原始SQL：

from datetime import datetime

df = sqlContext.createDataFrame(sc.parallelize([
    {'timestamp': 1414592818364, 'duration': 210},
    {'timestamp': 1414575535061, 'duration': 110},
    {'timestamp': 1411328461890, 'duration': 140},
    {'timestamp': 1434606396339, 'duration': 90}]))


def parse_timestamp(tm):
    dt = datetime.fromtimestamp(tm / 1000)
    return '{0}-{1}-{2}'.format(dt.year, dt.month, dt.day)

sqlContext.registerFunction('parse_timestamp', parse_timestamp)

df.registerTempTable('df')

query = '''
    SELECT parse_timestamp(timestamp) AS date, sum(duration) AS total_durtaion
    FROM df GROUP BY parse_timestamp(timestamp)'''

(sqlContext
    .sql(query)
    .show())

或SQL DSL：

from pyspark.sql.functions import udf
from pyspark.sql.types import StringType

(df
    .withColumn('date', udf(parse_timestamp, StringType())(df.timestamp))
    .select('date', 'duration')
    .groupby('date')
    .sum()
    .show())

修改：

自Spark 1.5起，不需要自定义udf。

from pyspark.sql.functions import from_unixtime, col, sum (df .groupBy(from_unixtime(df.timestamp / 1000, "yyyy-MM-dd").alias("date")) .agg(sum(col("duration"))))

如何在一周中的某一天汇总某个值？

1 个答案: