从Data Lake Store访问Databricks中的路径变量

时间:2019-03-11 17:51:59

标签: azure-data-lake databricks

我正在将技术转换为处理分析数据。这个想法是将u-sql脚本(DataLake Analytics)更改为笔记本(Databricks)的过程。

但是,像在u-sql(虚拟列)中一样,我很难从路径中提取变量。

示例:

•DECLARE EXTERNAL @inputpath字符串= @“ / input / {date:yyyy} / {date:MM} / {date:dd} /data.txt”;

@ input =     提取日期DateTime,             column1字符串,             column2 int     从@inputpath     使用Extractors.Text(delimiter:'\ n',引用:false);

是否有任何想法或解决方法将相同的数据保留在Data Lake Store中并使用数据块?

谢谢!

0 个答案:

没有答案