如何在Perl中构建像Amazon S3这样的东西?

时间:2010-03-20 18:10:53

标签: perl file storage

我希望用perl编写一个类似于amazon s3的文件存储应用程序。我已经有一个亚马逊s3克隆,我在网上找到了名为parkplace但它的红宝石和旧的也不是为高负荷而建。我不太确定我应该使用哪些模块和程序,所以我可以帮忙挑选出来。我的要求列在下面(是的,我知道有很多,但我可以开始简单,然后在我开始后添加更多):

  • 客户端应用程序的简易API实现。 (也许是REST(?)
  • USERDB的集中式数据库服务器(可能是PostgreSQL(?)。
  • 记录所有连接,使用的带宽,以及几乎所有内容到集中式服务器(也许是PostgreSQL(?)。
  • 简易服务器端配置(存储在服务器上的配置文件)。
  • 基于Web的控制面板,用于管理员和用户显示日志。 (可以只运行数据库中的查询)
  • 快速
  • 高正常运行时间
  • 内存使用率低
  • 某种载荷分布/载荷平衡器(可能是基于dns或磅或perlbal或其他东西(?)。
  • 可能是某种缓存(memcached或parlbal或其他东西(?)。

提前致谢

3 个答案:

答案 0 :(得分:3)

也许MogileFS可能会有所帮助?

recent discussion上有关于MogileFS性能的Google Groups / Mailing list,您可能会感兴趣。

/ I3az /

答案 1 :(得分:0)

在这里我发现了一个红宝石的impl

https://github.com/jubos/fake-s3

希望有所帮助

麦克

答案 2 :(得分:0)

我创建了一个超级简单的服务器,请参阅Photo :: Librarian :: Server.pm中的put例程,它支持文件的s3cmd put,现在不再需要了。 https://github.com/h4ck3rm1k3/photo-librarian-server

https://github.com/h4ck3rm1k3/photo-librarian-server/commit/837706542e57fbbed21549cd9e59257669d0220c