根据Combining Spark Streaming + MLlib,可以对spark中的输入流进行预测。
给定示例(适用于我的群集)的问题是testData是正确格式的给定权限。
我正在尝试设置客户端< - >基于数据字符串的服务器tcp交换。 我无法弄清楚如何以正确的格式转换字符串。
虽然这有效:
sep = ";"
str_recue = '0.0;0.1;0.2;0.3;0.4;0.5'
rdd = sc.parallelize([str_recue])
chemin = "hdfs://xx.xx.xx.xx:8020/cart_model_for_cycliste_v2"
model = DecisionTreeClassificationModel.load(chemin)
# travail sur la string
rdd2 = rdd.map( lambda data : data.split(sep))
rdd3 = rdd2.map(lambda tableau: [float(x) for x in tableau])
# création df
cols = ["c1", "c2", "c3", "c4", "c5", "c6"]
fields = [StructField(x, FloatType(), True) for x in cols]
schema = StructType(fields)
df = spark.createDataFrame(rdd3, schema=schema )
# preparation d'une colonne de features
schema = StructType(fields)
assembler = VectorAssembler()
assembler = assembler.setInputCols(cols)
assembler = assembler.setOutputCol("features")
df2 = assembler.transform(df)
model.transform(df2).show()
给予:
+---+---+---+---+---+---+--------------------+-------------+-----------+----------+
| c1| c2| c3| c4| c5| c6| features|rawPrediction|probability|prediction|
+---+---+---+---+---+---+--------------------+-------------+-----------+----------+
|0.0|0.1|0.2|0.3|0.4|0.5|[0.0,0.1000000014...| [0.0,3426.0]| [0.0,1.0]| 1.0|
+---+---+---+---+---+---+--------------------+-------------+-----------+----------+
我无法弄清楚如何在听插座时使其工作。
我有我的服务器:
import socket
import random
import time
port = 12003
ip = socket.gethostname()
serversocket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
serversocket.bind((ip, port))
serversocket.listen(1)
(clientsocket, address) = serversocket.accept()
nb_d_envois = 10
tps_attente = 3
for i in range(nb_d_envois):
time.sleep(tps_attente)
sep = ";"
to_send = '0.0;0.1;0.2;0.3;0.4;0.5'
print(to_send)
clientsocket.send(to_send.encode())
将字符串发送到我的spark Streaming上下文。 接下来做什么 ?这是我的问题。根据:https://github.com/apache/spark/blob/master/examples/src/main/python/streaming/sql_network_wordcount.py应该可以做[foreach]
所以我创建了一个函数:
def prevoir(time, rdd):
sep = ";"
chemin = "hdfs://54.37.12.49:8020/cart_model_for_cycliste_v2"
model = DecisionTreeClassificationModel.load(chemin)
# travail sur la string
rdd2 = rdd.map( lambda data : data.split(sep))
rdd3 = rdd2.map(lambda tableau: [float(x) for x in tableau])
# création df
cols = ["c1", "c2", "c3", "c4", "c5", "c6"]
fields = [StructField(x, FloatType(), True) for x in cols]
schema = StructType(fields)
df = spark.createDataFrame(rdd3, schema=schema )
# preparation d'une colonne de features
schema = StructType(fields)
assembler = VectorAssembler()
assembler = assembler.setInputCols(cols)
assembler = assembler.setOutputCol("features")
df2 = assembler.transform(df)
model.transform(df2).show()
并将其应用于流媒体上下文:
ssc = StreamingContext(sc, 5)
dstream = ssc.socketTextStream(listen_to_ip, listen_to_port)
dstream.foreachRDD(prevoir)
但没有出现(甚至没有正常的时间信息)。 也没有错误。
我的怀疑是:
该功能未注册为UDF,因此我怀疑它可以被调用
通过hdfs加载模型当然只能进行一次并作为参数传递
“show”函数在我看来并不是真正分布的(但是当它没有应用于'foreachrdd'时它会起作用... =>也许我应该在hdfs上做些什么?
欢迎任何帮助......
答案 0 :(得分:0)
数据未从服务器发送到流式上下文。代码是正确的。