使用Google App Engine进行网页搜寻

Question

我正在尝试抓取一些网站并将数据重新发布为RSS Feed。使用Google App Engine设置有多难？使用GAE的缺点和优势。任何建议和指南都非常感谢！

Answer 1

Google AppEngine提供的功能（和复杂性）远远超过您所需要的功能（并且复杂性），如果真正想要做的就是将一些结构化数据重新发布为RSS。 就个人而言，我会使用像Yahoo pipes这样的任务来完成这样的任务。

有人说......如果你想要/需要用GAE弄湿你的脚，那就去吧！

Answer 2

使用Google App Engine非常简单。我建议通过Getting Started guide。它简短而简单，涉及重要的GAE主题。比我在这里列出的更多的利弊。

<强>优点：
通常，App Engine专为需要扩展的高流量Web应用程序而设计。此外，它是从程序员的角度设计的。许多可扩展性问题（数据库优化，服务器管理等）都由Google处理。话虽如此，我发现它是一个很好的平台。它仍然由Google工程师积极开发，并且当前的路线图中已经安排了任务（一项长期需要的功能）。

<强>缺点：
也许现在最大的缺点是缺乏官方调度支持和目前为免费账户设定的配额限制。但是，如果它是免费的，你不能抱怨。目前它只支持Python作为编程接口（尽管新的语言[Java I预测]即将推出）。此外，还不支持Python 2.6（以及3.0）。此外，App Engine中没有正式支持Django 1.0（尽管你可以package Django 1.0 with your application）。

Answer 3

比大多数其他技术更难。

GAE现在可以点那样做这样的预定批量的东西，但它实际上不是针对那种类型的东西。选择几乎任何其他语言和平台来完成这项特殊任务，您将使您的生活更轻松。

Answer 4

我认为BeautifulSoup可以在GAE上运行，因此您需要处理所有的抓取需求：D 此外，GAE有一个geturl thingy。我认为你可能遇到的唯一问题是没有足够的时间来获取数据（30秒限制）。

我正在开发一个相同的项目，我决定在另一台服务器上准备数据并将它们推送到GAE更容易。

Answer 5

您可能还想查看Yahoo! Query Language（YQL）