我很高兴从亚马逊/ macys等商店获得所有产品。
我想用Python实现它。我看到两种可能的方式：
1）使用类似urllib（urllib2）的内容来读取页面内容+ beautifulsoup（lxml）来解析页面结构
2）使用scrapy阅读和准备结构化数据。
我希望尽可能少地使用资源。
所以这里有两个问题：
1）使用哪种方式以及为什么？
2）在哪里存储有关所有产品的信息？（在内存中，sqlite，postgres / mysql）？
我正在查看stackoverflow，但没有发现相同的内容。