PySpark-列出特定的文件和目录

时间:2019-08-21 13:25:15

标签: apache-spark pyspark databricks

我已收到2018年和2019年的镶木地板文件。数据组织在文件夹中,父文件夹(测试)下有每月数据。

-test / dt = 20180101 /

-test / dt = 20180201 /

....

-test / dt = 20181201 /

-test / dt = 20190101 /

...

-test / dt = 20191201 /

我如何-

  1. 列出2018年的文件夹吗?
  2. 列出2018年文件夹下的文件?

我收到以下错误没有这样的文件或目录:

这是我正在使用的代码

%fs ls s3://test/dt=2018*/

0 个答案:

没有答案