我在Azure环境中使用Databricks,并尝试使用Spline libaray获取数据沿袭。
https://absaoss.github.io/spline/
但是文档不是很清楚,我无法弄清楚生成输出文件的位置。
import za.co.absa.spline.core.SparkLineageInitializer._
System.setProperty("spline.mode", "REQUIRED")
System.setProperty("spline.persistence.factory", "za.co.absa.spline.persistence.hdfs.HdfsPersistenceFactory")
System.setProperty("spline.hdfs.file.name", "/user/test/output")
spark.enableLineageTracking()
// Enable the tracking
import za.co.absa.spline.core.SparkLineageInitializer._
spark.enableLineageTracking()
在此之后,我看不到任何文件创建。
我也尝试使用ADLS路径,但是没有运气。
广告路径
adl://azueus2devadlsdatalake.azuredatalakestore.net/aaa/test
请让我知道我应该更改什么,或者如果不提供创建文件的路径。