我正在将技术转换为处理分析数据。这个想法是将u-sql脚本(DataLake Analytics)更改为笔记本(Databricks)的过程。
但是,像在u-sql(虚拟列)中一样,我很难从路径中提取变量。
示例:
•DECLARE EXTERNAL @inputpath字符串= @“ / input / {date:yyyy} / {date:MM} / {date:dd} /data.txt”;
@ input = 提取日期DateTime, column1字符串, column2 int 从@inputpath 使用Extractors.Text(delimiter:'\ n',引用:false);
是否有任何想法或解决方法将相同的数据保留在Data Lake Store中并使用数据块?
谢谢!