如何将抓取的数据转换为要使用的列表

时间:2019-06-23 23:01:13

标签: python text beautifulsoup

我正在研究一个代码,该代码正在从yelp之类的网站上抓取数据。 当我将数据提取到文本print(data.text)时,一切正常。但是,当我尝试将其转换为列表时,出现了问题。

我尝试对其进行编码或在开头添加str,并且尝试创建一个列表以在其中添加所有内容。但会输出“无”。

import requests
from bs4 import BeautifulSoup


def third_site_fc(third_site_franche_comte = requests.get("https://www.paruvendu.fr/a/utilitaire-occasion/tracteur-routier/")):

    third_soup_fc = BeautifulSoup(third_site_franche_comte.text,'html.parser')
    list = []
    for articles_third_site in third_soup_fc.find_all('div',class_='ergov3-txtannonce'):
        print(articles_third_site.text in list)

print(third_site_fc())

我收到以下输出:

output:False
False
False
False
False
False
False
False
False
False
False
False
False
False
False
False
None

我期待一个包含循环中所有信息的列表(而不是一个字符一个字符)。像

['abababababababab ababa ababababaab']

感谢您的帮助和理解!

1 个答案:

答案 0 :(得分:-1)

您是要这么做吗?

total_s2_data <- total_s2_data %>%
  mutate(frame_cat = case_when(
    frameNum == c(1:63, 120:193, 488:543, 580:625) ~ "anticipatory",
    frameNum == c(64:69, 194:219, 544:563, 626:653) ~ "phone",
    frameNum == c(70:193, 220:297, 564:625, 654:725) ~ "carryover",
    TRUE ~ NA)
  )