使用Spline在不使用mongodb的情况下使用Dababricks获取数据沿袭

时间:2019-07-25 23:42:59

标签: azure databricks azure-databricks

我在Azure环境中使用Databricks,并尝试使用Spline libaray获取数据沿袭。

https://absaoss.github.io/spline/

但是文档不是很清楚,我无法弄清楚生成输出文件的位置。

import za.co.absa.spline.core.SparkLineageInitializer._
System.setProperty("spline.mode", "REQUIRED")
System.setProperty("spline.persistence.factory", "za.co.absa.spline.persistence.hdfs.HdfsPersistenceFactory")
System.setProperty("spline.hdfs.file.name", "/user/test/output")
spark.enableLineageTracking()

// Enable the tracking 
import za.co.absa.spline.core.SparkLineageInitializer._
spark.enableLineageTracking()

在此之后,我看不到任何文件创建。

我也尝试使用ADLS路径,但是没有运气。

广告路径

  

adl://azueus2devadlsdatalake.azuredatalakestore.net/aaa/test

请让我知道我应该更改什么,或者如果不提供创建文件的路径。

0 个答案:

没有答案