我有一个火种风格的应用程序,允许用户评价事件。在用户对事件进行评级后,将运行后台资源调整作业,根据用户的反馈对其他事件进行重新排名。
此后台作业大约需要10秒钟,每位用户每分钟运行约20次。
使用一个简单的例子。如果我有10个用户在任何给定时间使用该应用程序,并且我从不希望工作等待,那么最佳方法是什么?
我对Dynos,resque pool和redis连接感到困惑。有人能帮我理解其中的区别吗?有没有办法计算出来?
答案 0 :(得分:4)
不确定你是在问正确的问题。你真正的问题是“我怎样才能获得更好的表现?”不是“有多少dynos?”只是添加动力并不一定会给你更好的表现。更多的dynos会给你更多的记忆......所以如果你的应用程序运行缓慢,因为你的可用内存不足(即你在交换机上运行),那么更多的dynos可能就是答案。如果这些工作每次需要10秒才能运行,但是...内存可能不是你的实际问题。如果要监视内存使用情况,请查看New Relic等可视化工具。
有很多方法可以解决您的问题。但我会从你写的代码开始。在SO上发布一些代码可能有助于理解为什么该作业需要10秒钟(发布一些代码!)。 10秒是很长一段时间。因此,优化该工作中的查询几乎肯定会有所帮助。
另一件低悬的水果......从resque切换到sidekiq为你的背景工作。真的很容易使用。您将使用更少的内存,并且应该会立即看到性能上升。
答案 1 :(得分:0)
Dynos:这些是单独的虚拟/物理服务器。将它们视为与EC2实例相同。
Redis Connections:与Redis实例的单独连接。
Resque Pool:一个允许你在同一个dyno / instance上同时运行worker的gem。
答案 2 :(得分:0)
首先,值得寻找可以提高工作绩效的方法。通过使用低级模型缓存或优化算法,您可能能够在10秒内获得它。
在计算出您需要多少工人的数量方面,您需要将每分钟运行次数(20)乘以运行所需的秒数(10)乘以用户数(10)。这将为您提供在一名工作人员上运行所需的每分钟秒数。 20 * 10 * 10 = 2000
。除以60,你得到每分钟的分钟数33.3
。因此,如果你有34名工人,并且这些数字都是一致的,他们应该能够掌握最重要的事情。
也就是说,对于排名算法,您不应该只为10个并发用户运行36个或更多dynos。这会很快变得昂贵。
优化您的算法,尝试添加更多缓存,并尝试Sidekiq。根据我的经验,Sidekiq可以比Resque快10倍的队列处理。这取决于你的工作是什么,以及你如何使用每个工具,但值得一试。请参阅Sidekiq vs Resque。
答案 3 :(得分:0)
重新排名其他事件是一个坏主意。
您应该考虑为事件表设置total_points和average_points列,并按顺序通过查询来确定排名。像这样。
class Event
has_many :feedbacks
scope :rank_by_total, -> { order(:total_points) }
scope :rank_by_average, -> { order(:average_points) }
end
class Feedback
belongs_to :event
after_create :update_points
def update_points
total = event.feedbacks.sum(:points)
avg = event.feedbacks.average(:points)
event.update(total_points: total, average_points: avg)
end
end
那么,你需要多少工人/动物?
你不必为这个问题担心dyno或worker。无论您使用多少具有更高处理能力的dynos,当您的事件表变得庞大时,您的解决方案将花费大量时间。因此,请尝试按照我所描述的方式更改解决方案。