通过覆盖键中的值作为Redis列表来编写Spark数据帧

时间:2018-10-03 10:47:49

标签: scala apache-spark redis

我有一个Redis键,可以使用命令在其中插入数据

格式如下

  

lpush key_name'json数据'

lpush test4 '{"id":"358899055773504","start_lat":0,"start_long":0,"end_lat":26.075942,"end_long":83.179573,"start_interval":"2018-02-01 00:01:00","end_interval":"2018-02-01 00:02:00"}'

现在我在spark scala中进行了一些处理,并得到了这样的数据框

              id    end_interval    start_interval  start_lat   start_long  end_lat end_long
866561010400483 2018-02-01 00:02:00 2018-02-01 00:01:00 0   0   26.075942   83.179573
358899055773504 2018-08-02 04:57:29 2018-08-01 21:35:52 22.684658   75.909716   22.684658   75.909716
862304021520161 2018-02-01 00:02:00 2018-02-01 00:01:00 0   0   26.075942   83.179573
862304021470656 2018-08-02 05:25:11 2018-08-02 00:03:21 26.030764   75.180587   26.030764   75.180587
351608081284031 2018-08-02 05:22:10 2018-08-02 05:06:17 17.117284   78.269013   17.117284   78.269013
866561010407496 2018-02-01 00:02:00 2018-02-01 00:01:00 0   0   26.075942   83.179573
862304021504975 2018-02-01 00:02:00 2018-02-01 00:01:00 0   0   26.075942   83.179573
866561010407868 2018-02-01 00:02:00 2018-02-01 00:01:00 0   0   26.075942   83.179573
862304021483931 2018-02-01 00:02:00 2018-02-01 00:01:00 0   0   26.075942   83.179573

我想将此数据帧插入到相同的键(test4)中,方法是将其重写为redis列表(以前但现在带有数据帧的行)

0 个答案:

没有答案