Spark Sql OR命令不返回结果

Question

我正在尝试在Zeppelin中运行以下命令：

SELECT duration FROM voip where duration = 17 or  duration = 1 

这不会返回任何结果，但在运行它们时，查询会返回结果。我正在尝试在Scala中运行类似的代码，但它不起作用。

df.where(df("duration").===(1) || df("duration").===(2)).limit(10)

我可以编写一些只执行每个查询并联合所有数据帧但我担心性能的东西。有什么想法吗？

Answer 1

你可以尝试使用isin功能：

<强> df.where（DF（ “持续时间”）。ISIN（ “1”， “2”））。极限（10）

# assuming file has url in every line
self.start_urls = [url.strip() for url in data.splitlines()]