Question

我已经用python与硒结合编写了脚本，以从网页中获取一些信息。要获得内容，必须单击较大表中每个名称旁边的+符号。单击这些+符号后，将显示与每个名称相关的所有表格。我的脚本可以非常有效地做到这一点。但是，下一步是解析这些表格数据。这就是我困扰的地方。每个表的数据都已被解析，但是大量空白行无处不在。

我怎样才能踢出那些空白行并仅继续解析那些表格数据？

link to that site

这是我的脚本：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

url = "replace with above link"

def get_info(driver,link):
    driver.get(link)
    for items in wait.until(EC.presence_of_all_elements_located((By.CSS_SELECTOR,"table.tableagmark img[style^='cursor:']"))):
        items.location
        items.click()
        wait.until(EC.invisibility_of_element_located((By.CSS_SELECTOR,"table[style='font-size:16px;']")))
    fetch_table()

def fetch_table():
    for items in wait.until(EC.presence_of_all_elements_located((By.CSS_SELECTOR, "table[style='font-size:16px;'] tr"))):
        data = [item.text for item in items.find_elements_by_css_selector("td")]
        print(data)

if __name__ == '__main__':
    driver = webdriver.Chrome()
    wait = WebDriverWait(driver,10)
    try:
        get_info(driver,url)
    finally:
        driver.quit()

这是输出的样子（在每个表格内容之前和之后）：

['', '']
['', '']
['', '']
['', '']
['', '']
['', '']
['', '']
['', '']
['', '']
['', '']
[]
['Achanta', 'Apr 16 2018 11:24AM']
['Addanki', 'Apr 13 2018 6:00PM']
['Adoni', 'Apr 18 2018 12:17PM']

Answer 1

如果您只是问如何现在打印出所有空结果，则可以编写一个循环来过滤它们。假设每一行都是单个data值...

最简单的方法是在any内将隐式循环与隐式bool过滤器一起使用：

if any(data):
    print(data)

如果any(data)不为空，并且data的至少一个元素为真，则对序列data的

data为真。空字符串是虚假的，非空字符串是虚假的。因此，这正是您想要的功能：它会跳过[]和['', '']，但不会跳过['Achanta', 'Apr 16 2018 11:24AM']之类的东西。

但是，如果您很难理解它，最好变得更加明确：

for value in data:
    if value:
        print(data)
        break

Answer 2

通过使用正确的选择器，您可以跳过通过某种过滤处理空文本节点的操作，并节省大量时间：

def get_info(driver,link):
    driver.get(link)
    for items in wait.until(EC.presence_of_all_elements_located((By.CSS_SELECTOR, "img[src='../images/plus.png']"))):
        items.click()
    fetch_table()

def fetch_table():
    for items in wait.until(EC.presence_of_all_elements_located((By.XPATH, "//td/table//tr[not(th)]"))):
        data = [item.text for item in items.find_elements_by_css_selector("td")]
        print(data)

Answer 3

假设data包含表，则可以使用any进行过滤空行

non_empty = [row for row in data if any(row)]

如果any的至少一个元素不为空，此处True返回row

无法摆脱输出中的许多空白行

3 个答案: