Scrapy将Key:值对附加到另一个Key

时间:2014-08-09 05:49:30

标签: python mongodb web-scraping scrapy

我想废弃下面的地图坐标,我的坐标为var Data = {lat:45.000000,long:68.00000}

我可以废弃上述数据项' long' 68.0000和' lat':45.0000作为单独的项目。

现在我如何将它们放入一个新钥匙' loc'根据mongodb的要求

loc:{long:68.000000,' lat':45.0000}(我首先需要很长时间,然后是lat值,以便我可以将抓取的数据放入mongodb)。

大家好

这是我的物品档案:

class Citylist(scrapy.Item):
    lng = scrapy.Field()
    lat = scrapy.Field()
    loc = scrapy.Filed()

这是我的蜘蛛文件:

for newlist in HtmlXPathSelector(response).select('/html/body'):  
    l = ItemLoader(item=Citylist(),response = response)
    l.add_xpath('lng', '//......text()')
    l.add_xpath('lat', '//......text()')
    yield l.load_item()

1 个答案:

答案 0 :(得分:0)

get_output_value()会为您提供已提取的lnglat的值,add_value()会将值放入加载程序中:

l.add_value('loc', {'lng': l.get_output_value('lng'), 
                    'lat': l.get_output_value('lat')})