奇怪的错误我无法对数据框做任何事情,但它不是空的

时间:2017-04-07 21:59:28

标签: scala apache-spark amazon-redshift databricks

我在scala中使用带有Spark 1.6.0(Hadoop 1)的databricks来运行查询来过滤我在redshift中的一些URL数据但是一旦查询成功完成,如果我运行了一个计数在数据框上它显示数据框上有数据,但我尝试显示数据或加入数据,数据框看起来是空的,它没有显示任何内容,也无法进行连接

这是将数据导入数据库的代码

val df  = sqlContext.read
  .format("com.databricks.spark.redshift")  
  .option("url", jdbcUrl)
  .option("tempdir", s"s3a://....")
  .option("query", s"select * from table where column like '%word1%word2%word3%' )
  .load()

实际数据是这样的

'https://www.asdfg.com/word1?word2=/word3/asdasdadasd'

'https://www.asdfg.com/word1?word2=%2Fword3%2Fasdasdadasd'

我无法理解为什么如果我运行计数我得到结果但是对于任何其他操作,数据框似乎是空的,任何想法为什么会发生这种情况?

0 个答案:

没有答案