存储屏幕抓取数据的正确方法是什么?

时间:2012-12-03 15:34:04

标签: database-design screen-scraping web-scraping store datastore

我正在网站上工作。它正在从各种网站上抓取产品细节(名称,功能,价格等),处理和显示它们。我考虑每天运行更新脚本并保持数据新鲜。

  1. 抓数据
  2. 处理他们
  3. 存储在数据库
  4. 读取(来自db)并显示它们
  5. 我已经将所有数据存储在sql架构中,但我不确定。每次更新后,所有旧记录都会消失。如果被抓取的新数据以某种方式被破坏,则无需显示任何内容。

    那么,有没有任何常用的方法来存档旧数据?哪一个更方便:单独的sql架构或xml文件?或其他什么?

1 个答案:

答案 0 :(得分:0)

我强烈建议将数据放入MySQL数据库。 将会有大量关于如何安全地进行操作的示例,您可以从过去的刮擦中控制数据,并在添加的同时显示最新数据。

转到来源:http://php.about.com/od/security/Security_for_PHP_and_MySQL.htm