状态中的非法字符0x0 = START的缓冲区 - pyspark 2.0

时间:2016-09-21 21:33:05

标签: pyspark

我正在使用sklearn库对我拥有的每组数据进行一些回归。

def func(keys, values):
 clf = linear_model.LinearRegression()
 continued

rdd =df.rdd.map(lambda r :(Row(key1= r.key1, key2= r.key2), r))
           .groupByKey()\
           .flatMap(lambda kv: func(kv[0],kv[1]))

执行几分钟后,我收到消息,任何人都能帮我理解这个吗?。

[Stage 242:====================================================>  (19 + 1) / 20]16/09/21 21:18:19 WARN HttpParser: Illegal character 0x0 in state=START for buffer HeapByteBuffer@7d7a1efa[p=1,l=1,c=16384,r=0]={\x00<<<>>>ET /jobs/ HTTP/1....\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00}
  WARN HttpParser: Illegal character 0x0 in state=START for buffer HeapByteBuffer@52c2806e[p=1,l=1,c=16384,r=0]={\x00<<<>>>\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00...\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00}
   WARN HttpParser: badMessage: 400 Illegal character 0x0 for HttpChannelOverHttp@eebf595{r=0,c=false,a=IDLE,uri=}
   WARN HttpParser: badMessage: 400 Illegal character 0x0 for   HttpChannelOverHttp@199d7092{r=0,c=false,a=IDLE,uri=}

 [Stage 259:==================================================>    (59 + 5) / 64]16/09/21 21:24:51 WARN HttpParser: Illegal character 0x0 in state=START for buffer HeapByteBuffer@52c2806e[p=1,l=1,c=16384,r=0]={\x00<<<>>>ET /jobs/HTTP/1....\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00}

 16/09/21 21:24:51 WARN HttpParser: badMessage: 400 Illegal character 0x0 for HttpChannelOverHttp@27f44836{r=0,c=false,a=IDLE,uri=}

0 个答案:

没有答案