Pandas:函数无法将数据帧附加到空数据帧

时间:2017-03-24 16:08:31

标签: python pandas dataframe append

我正在使用BS4搜索属性广告,使用pandas进行分析。 使用多处理,我有以下,

def show_ad_prices(options):
    pool = Pool(options)

    page_link_list=[] # list of urls of pages with ads
    BS4_main(page_root_url) # BS4_main requests and parses url
    last_page_number=int(container.findAll("a", href=re.compile('^('+house_href+')((?!:).)*$'))[-2].text)
    for i in range(1,last_page_number):
       page_nr=page_root_url+'pagina-'+str(i)+'.htm'    
       page_link_list.append(page_nr)

    for page_link_url in page_link_list:
       overall_df=pd.DataFrame() 
       print(page_link_url)
       ad_page_urls = get_ad_page_urls(page_link_url) # returns all urls of ads on one page

       try:
           results = pool.map(get_ad_data, ad_page_urls) # gets data from ad 
       except Exception:
           print('error: '+page_link_url)
           continue

       try:
           df=pd.DataFrame.from_dict(results) # make DataFrame of data of all ads of one page
           print(df)
           overall_df.append(df) # append DataFrame to overall DataFrame
           print(total_df)
       except Exception: 
           print('error: '+page_link_url)

     return overall_df

我的代码在一个页面上成功创建了所有广告的数据框。 print(df)打印出这样一个“单页”数据帧。但是,当我尝试将一页数据帧附加到空的整体数据帧时,没有任何反应。整个数据框保持空白。

我已经尝试了this question的答案,但它似乎不起作用。可能应该创建一个单页的DataFrame,然后将其附加到整个DataFrame。

0 个答案:

没有答案