我正在使用BS4搜索属性广告,使用pandas进行分析。 使用多处理,我有以下,
def show_ad_prices(options):
pool = Pool(options)
page_link_list=[] # list of urls of pages with ads
BS4_main(page_root_url) # BS4_main requests and parses url
last_page_number=int(container.findAll("a", href=re.compile('^('+house_href+')((?!:).)*$'))[-2].text)
for i in range(1,last_page_number):
page_nr=page_root_url+'pagina-'+str(i)+'.htm'
page_link_list.append(page_nr)
for page_link_url in page_link_list:
overall_df=pd.DataFrame()
print(page_link_url)
ad_page_urls = get_ad_page_urls(page_link_url) # returns all urls of ads on one page
try:
results = pool.map(get_ad_data, ad_page_urls) # gets data from ad
except Exception:
print('error: '+page_link_url)
continue
try:
df=pd.DataFrame.from_dict(results) # make DataFrame of data of all ads of one page
print(df)
overall_df.append(df) # append DataFrame to overall DataFrame
print(total_df)
except Exception:
print('error: '+page_link_url)
return overall_df
我的代码在一个页面上成功创建了所有广告的数据框。 print(df)
打印出这样一个“单页”数据帧。但是,当我尝试将一页数据帧附加到空的整体数据帧时,没有任何反应。整个数据框保持空白。
我已经尝试了this question的答案,但它似乎不起作用。可能应该创建一个单页的DataFrame,然后将其附加到整个DataFrame。