我有两个数据框，我想基于一个列加入它们，但需要注意的是此列是一个时间戳，并且该时间戳必须在一定的偏移量（5秒）内才能连接记录。更具体地说，dates_df与date=1/3/2015:00:00:00的记录应与events_df time=1/3/2015:00:00:01合并，因为两个时间戳都在5秒之内。
我正试图让这个逻辑与python spark一起工作，这非常痛苦。人们如何在火花中做这样的加入？
我的方法是向dates_df添加两个额外的列，这些列将确定具有5秒偏移量的lower_timestamp和upper_timestamp边界，并执行条件连接。这就是它失败的地方，更具体地说：
joined_df = dates_df.join(events_df,
dates_df.lower_timestamp < events_df.time < dates_df.upper_timestamp)
joined_df.explain()
仅捕获查询的最后部分：
Filter (time#6 < upper_timestamp#4)
CartesianProduct
....
它给我一个错误的结果。
我是否真的必须为每个不等式做一个完整的笛卡尔联接，在我进行时删除重复项？
以下是完整代码：
from datetime import datetime, timedelta
from pyspark import SparkContext, SparkConf
from pyspark.sql import SQLContext
from pyspark.sql.types import *
from pyspark.sql.functions import udf
master = 'local[*]'
app_name = 'stackoverflow_join'
conf = SparkConf().setAppName(app_name).setMaster(master)
sc = SparkContext(conf=conf)
sqlContext = SQLContext(sc)
def lower_range_func(x, offset=5):
return x - timedelta(seconds=offset)
def upper_range_func(x, offset=5):
return x + timedelta(seconds=offset)
lower_range = udf(lower_range_func, TimestampType())
upper_range = udf(upper_range_func, TimestampType())
dates_fields = [StructField("name", StringType(), True), StructField("date", TimestampType(), True)]
dates_schema = StructType(dates_fields)
dates = [('day_%s' % x, datetime(year=2015, day=x, month=1)) for x in range(1,5)]
dates_df = sqlContext.createDataFrame(dates, dates_schema)
dates_df.show()
# extend dates_df with time ranges
dates_df = dates_df.withColumn('lower_timestamp', lower_range(dates_df['date'])).\
withColumn('upper_timestamp', upper_range(dates_df['date']))
event_fields = [StructField("time", TimestampType(), True), StructField("event", StringType(), True)]
event_schema = StructType(event_fields)
events = [(datetime(year=2015, day=3, month=1, second=3), 'meeting')]
events_df = sqlContext.createDataFrame(events, event_schema)
events_df.show()
# finally, join the data
joined_df = dates_df.join(events_df,
dates_df.lower_timestamp < events_df.time < dates_df.upper_timestamp)
joined_df.show()
我得到以下输出：
+-----+--------------------+
| name| date|
+-----+--------------------+
|day_1|2015-01-01 00:00:...|
|day_2|2015-01-02 00:00:...|
|day_3|2015-01-03 00:00:...|
|day_4|2015-01-04 00:00:...|
+-----+--------------------+
+--------------------+-------+
| time| event|
+--------------------+-------+
|2015-01-03 00:00:...|meeting|
+--------------------+-------+
+-----+--------------------+--------------------+--------------------+--------------------+-------+
| name| date| lower_timestamp| upper_timestamp| time| event|
+-----+--------------------+--------------------+--------------------+--------------------+-------+
|day_3|2015-01-03 00:00:...|2015-01-02 23:59:...|2015-01-03 00:00:...|2015-01-03 00:00:...|meeting|
|day_4|2015-01-04 00:00:...|2015-01-03 23:59:...|2015-01-04 00:00:...|2015-01-03 00:00:...|meeting|
+-----+--------------------+--------------------+--------------------+--------------------+-------+
答案 0 :(得分：5)
我确实用explain()激发SQL查询以查看它是如何完成的，并在python中复制了相同的行为。首先，这里是如何使用SQL spark做同样的事情：
dates_df.registerTempTable("dates")
events_df.registerTempTable("events")
results = sqlContext.sql("SELECT * FROM dates INNER JOIN events ON dates.lower_timestamp < events.time and events.time < dates.upper_timestamp")
results.explain()
这有效，但问题是如何在python中进行，所以解决方案似乎只是一个简单的连接，后面是两个过滤器：
joined_df = dates_df.join(events_df).filter(dates_df.lower_timestamp < events_df.time).filter(events_df.time < dates_df.upper_timestamp)
joined_df.explain()产生与sql spark results.explain()相同的查询，所以我假设这就是事情的完成方式。
答案 1 :(得分：0)
虽然一年后，但可能会帮助别人..
如你所说，在你的情况下，完整的笛卡尔产品是疯了。您的匹配记录将及时关闭（5分钟），这样您就可以利用这一点并节省大量时间，如果您首先根据时间戳将记录分组到存储桶，然后加入该存储桶上的两个数据帧，然后才应用过滤器。使用该方法会导致Spark使用SortMergeJoin而不是CartesianProduct，并大大提高性能。
这里有一个小警告 - 你必须匹配桶和下一个桶。
最好在我的博客中解释一下，使用代码示例（Scala + Spark 2.0，但你也可以在python中实现它......）
http://zachmoshe.com/2016/09/26/efficient-range-joins-with-spark.html