Scrapy合并子页面中的数据

时间:2018-02-06 09:38:28

标签: python scrapy

我是scrapy的新手,我正在尝试解析网站以提取信息。我想创建一个包含页面AA所有子页面信息的字典。为了使其更具体,请考虑篮球队的页面以及每个球员页面的子页面。

现在,我可以解析team的页面,我可以解析players的页面,问题是如何合并字典? (我不使用物品也不使用管道)

到目前为止,我已经在主页面中完成了一个循环yields请求解析到player网址。我将主dict传递给player解析器(在request.meta中),其中添加了player_<i>信息(其中i是一个传递给meta)到团队词典。 player解析器返回包含添加信息的字典。问题在于,通过这种方式,团队产生了很多次,从而产生了一个无法使用的csv,它包含了包含一些玩家和团队数据的字典的serverl行(实际上第一个是1个玩家,第二个是2个玩家等等)

如何只包含所有玩家的数据和团队数据?

修改 结构在某种程度上是这样的(没有团队或玩家之间没有共同的数据)

小组:

  • 名称
  • DESCRIPTIO
  • 网站
  • 联盟

小组:

  • 名称
  • 年龄
  • 网站

0 个答案:

没有答案