GAE - 如何生活没有加入?

时间:2009-01-15 06:07:25

标签: python google-app-engine join google-cloud-datastore

示例问题:

实体:

  • 用户包含姓名和朋友列表(用户参考)
  • 博客文章包含标题,内容,日期和作者(用户)

要求:

我想要一个显示标题的页面以及用户朋友最近10篇帖子的博客链接。我还希望能够继续回溯旧条目。

SQL解决方案:

所以在sql land中它会是这样的:

select * from blog_post where user_id in (select friend_id from user_friend where user_id = :userId) order by date

我能想到的GAE解决方案是:

  • 加载用户,循环浏览好友列表并加载他们最新的博文。最后合并所有博客文章以查找最新的10个博客条目
  • 在博客文章中列出了将作者作为朋友的所有用户的列表。这将意味着简单的阅读,但在添加拥有大量博客帖子的朋友时会导致配额超载。

我不相信这些解决方案中的任何一个都会扩展。

我确定其他人已经遇到了这个问题,但我已经搜索过,观看谷歌io视频,阅读其他代码......我错过了什么?

4 个答案:

答案 0 :(得分:13)

如果你看看你提供的SQL解决方案将如何执行,它将基本上像这样:

  1. 获取当前用户的朋友列表
  2. 对于列表中的每个用户,启动对最近帖子的索引扫描
  3. 合并 - 加入步骤2中的所有扫描,当您检索到足够的条目时停止
  4. 您可以在App Engine中自己执行完全相同的过程,方法是将Query实例用作迭代器并对它们进行合并连接。

    你是对的,这对于大量的朋友来说不会很好地扩展,但是它会遇到与SQL实现完全相同的问题,它也不会伪装它们:获取最新的20个(例如)条目大致花费O(n log n)工作,其中n是朋友的数量。

答案 1 :(得分:7)

Google io talk中介绍了此主题: http://code.google.com/events/io/sessions/BuildingScalableComplexApps.html

Google团队建议使用列表属性以及他们称之为关系索引实体的内容,可以在此处找到示例应用程序:http://pubsub-test.appspot.com/

答案 2 :(得分:1)

“加载用户,遍历好友列表并加载他们最新的博客帖子。”

这就是所有连接 - 嵌套循环。某些类型的连接是带有查找的循环。大多数查找只是循环;有些是哈希。

“最后合并所有博客帖子以查找最新的10个博客条目”

这是一个有限制的订单。这就是数据库为你做的事情。

我不确定这个不可扩展的内容;无论如何,这都是数据库的作用。

答案 3 :(得分:0)

以下是来自http://pubsub-test.appspot.com/

的python示例

任何人都有一个java?感谢。

from google.appengine.ext import webapp

from google.appengine.ext import db

class Message(db.Model):
 body = db.TextProperty(required=True)
 sender = db.StringProperty(required=True)
 receiver_id = db.ListProperty(int)

class SlimMessage(db.Model):
 body = db.TextProperty(required=True)
 sender = db.StringProperty(required=True)

class MessageIndex(db.Model):  
 receiver_id = db.ListProperty(int)

class MainHandler(webapp.RequestHandler):

 def get(self):
  receiver_id = int(self.request.get('receiver_id', '1'))
  key_only = self.request.get('key_only').lower() == 'on'
  if receiver_id:
    if key_only:
      keys = db.GqlQuery(
          'SELECT __key__ FROM MessageIndex WHERE receiver_id = :1',
          receiver_id).fetch(10)
      messages.extend(db.get([k.parent() for k in keys]))
    else:
      messages.extend(Message.gql('WHERE receiver_id = :1',
                      receiver_id).fetch(10))