使用样条曲线在Spark中启用沿袭时出错?

时间:2020-06-23 12:34:00

标签: apache-spark pyspark spline

我尝试使用样条线通过两种指定的here来跟踪火花中的沿袭 但是他们两个都因相同的错误而失败

ERROR QueryExecutionEventHandlerFactory:样条初始化失败! Spark沿袭跟踪已禁用 Spark Agent无法与样条网关建立连接

原因dBy:java.net.connectException:连接被拒绝

我能够在端口80809090上看到UI,而且arangoDB已启动并正在运行。

但是没有血统显示。

我尝试了pyspark以及spark-shell,但是没有运气。 任何帮助表示赞赏。

1 个答案:

答案 0 :(得分:3)

我能够通过手动创建rest-serverarangoDbweb-client来解决此问题,然后在运行spark shell时为生产者提供正确的uri

--conf "spark.spline.producer.url=http://localhost:8080/producer"

尽管进行了各种操作和转换,但我仍然没有在webui上获得血统。

后来我意识到保存数据帧后就生成了血统,所以一旦触发写入操作,我就可以看到血统图。