我在Zeppelin笔记本中将文件加载到DataFrame中,如下所示:
val df = spark.read.format("com.databricks.spark.csv").load("some_file").toDF("c1", "c2", "c3")
这个DataFrame有大约1000万行,我想开始只使用一部分行,所以我使用了限制:
val df_small = df.limit(1000)
但是,现在当我尝试在其中一列的字符串值上过滤DataFrame时,每次运行以下内容时都会得到不同的结果:
df_small.filter($"c1" LIKE "something").show()
如何为我运行的每个过滤器获取一个保持稳定的df子集?