Question

我有一个带有Spark 1.6的python DataFrame。例如

DF= ("timestamp","canal", "name")

示例数据：

   [('1980-02-24'),('google.com/General'),('Alice')]
   [('1980-02-24'),('google.com/Dataset'),('bob')]
   [('1980-02-24'),('googleserach.com'),('Malik')]
   [('1980-02-24'),('googlesearch.com/AIPlateforme'),('AliceBob')]
   [('1980-02-24'),('yahooserach.com'),('Bob2')]
   [('1980-02-24'),('yahoosearch.com/AIPlateforme'),('Alice2')]

DF.count() = 6

我想了解所有内容，"canal" not contain substring googleserach.com和yahoosearch

我创建了一个变量：

canal_2 = "googleserach.com,yahoosearch"

然后：

解决方案1：

result = DF.filter(~DF.canal.isin (canal_2)) ==> does not work
result.count() = 6

解决方案2：

if (canal2 not in DF.canal) ==> invalid syntax

如何对DataFrame进行过滤以使“运河”不包含googlesearch和yahoosearch的行？

谢谢

Answer 1

rlike和regex将起作用。

regexNegativeLB= "^/(?!googlesearch|yahoosearch)$"
newDF= DF.filter(DF["canal"].rlike(regexNegativeLB))

https://www.rexegg.com/regex-lookarounds.html-引用负前瞻

Answer 2

import { logText, Example } from 'example';

// Do some magic here to modify the functionality of logText

new Example();

也有可能。 pyspark没有包含它。

Answer 3

df.filter（〜df [“ canal”]。isin（canal_2））。collect（）试试这个。

如何使用pyspark过滤不包含任何子字符串列表的数据框行

3 个答案: