Question

我正在尝试编写一个程序，该程序将从易趣产品页面收集特定信息并将该信息写入文本文件。要做到这一点，我使用BeautifulSoup和Requests，并且我正在使用Python 2.7.9。

我主要使用本教程（Easy Web Scraping with Python）进行了一些修改。到目前为止，一切都按预期工作，直到它写入文本文件。信息是按照我想要的格式编写的。

我得到的是：

{'item_title': u'Old Navy Pink Coat M', 'item_no': u'301585876394', 'item_price': u'US $25.00', 'item_img': 'http://i.ebayimg.com/00/s/MTYwMFgxMjAw/z/Sv0AAOSwv0tVIoBd/$_35.JPG'}

我所希望的是更容易使用的东西。例如：

New Shirt 5555555555 US $25.00 http://ImageURL.jpg

换句话说，我只想要抓取的文字，而不是括号，＆＃39; item_whatever＆＃39;或u＆＃39;。

经过一些研究后，我怀疑我的问题是在写入文本文件时对信息进行编码，但我不确定如何修复它。

到目前为止，我已经尝试过，

def collect_data():
        with open('writetest001.txt','w') as x:
                for product_url in get_links():
                        get_info(product_url)
                        data = "'{0}','{1}','{2}','{3}'".format(item_data['item_title'],'item_price','item_no','item_img')
                        x.write(str(data))

希望能够以我想要的方式更容易地格式化数据。它只导致＆＃34; NameError：全局名称＆＃39; item_data＆＃39;没有定义＆＃34;在IDLE中显示。

我也尝试在各个位置使用.split()和.decode('utf-8')，但只收到了AttributeErrors，或者书面结果没有变化。

这是程序本身的代码。

import requests
import bs4

#Main URL for Harvesting
main_url = 'http://www.ebay.com/sch/Coats-Jackets-/63862/i.html?LH_BIN=1&LH_ItemCondition=1000&_ipg=24&rt=nc'

#Harvests Links from "Main" Page
def get_links():
        r = requests.get(main_url)
        data = r.text
        soup = bs4.BeautifulSoup(data)
        return [a.attrs.get('href')for a in soup.select('div.gvtitle a[href^=http://www.ebay.com/itm]')]


print "Harvesting Now... Please Wait...\n"
print "Harvested:", len(get_links()), "URLs"
#print (get_links())
print "Finished Harvesting... Scraping will Begin Shortly...\n"


#Scrapes Select Information from each page
def get_info(product_url):
        item_data = {}
        r = requests.get(product_url) 
        data = r.text
        soup = bs4.BeautifulSoup(data)

        #Fixes the 'Details about  ' problem in the Title
        for tag in soup.find_all('span',{'class':'g-hdn'}):
                tag.decompose()
        item_data['item_title'] = soup.select('h1#itemTitle')[0].get_text()

        #Grabs the Price, if the item is on sale, grabs the sale price
        try:
                item_data['item_price'] = soup.select('span#prcIsum')[0].get_text()
        except IndexError:
                item_data['item_price'] = soup.select('span#mm-saleDscPrc')[0].get_text()

        item_data['item_no'] = soup.select('div#descItemNumber')[0].get_text()

        item_data['item_img'] = soup.find('img', {'id':'icImg'})['src']

        return item_data

#Collects information from each page and write to a text file
write_it = open("writetest003.txt","w","utf-8")

def collect_data():
        for product_url in get_links():
               write_it.write(str(get_info(product_url))+ '\n')

collect_data()
write_it.close()

Answer 1

你走在正确的轨道上。您需要一个局部变量来将get_info的结果分配给。您尝试引用的变量item_data仅存在于get_info函数的范围内。您可以使用相同的变量名称，并将函数的结果分配给它。

您尝试的关于如何格式化项目的部分中也存在语法问题。

将您尝试过的部分替换为：

for product_url in get_links():
    item_data = get_info(product_url)
    data = "{0},{1},{2},{3}".format(*(item_data[item] for item in ('item_title','item_price','item_no','item_img')))
    x.write(data)

清理从BeautifulSoup写入文本文件的数据

1 个答案: