在服务器上运行python脚本并将数据保存到云

时间:2016-02-19 14:50:28

标签: python api amazon-web-services server google-cloud-storage

我想存储有关交易所资产贷款利率的数据。大约有8个资产,这是API call我将用于查询每个资产的数据的示例。

我打算为每个资产运行一个脚本。基本上每个脚本都是一个while循环,不断查询API,如果数据发生变化(添加或删除新的贷款),保存该调用的数据(即不保存重复项)我将保存数据为json文件。 (每个约5Kb,每小时约5000个)

我从各种测试中估计,我每年最多需要250GB。

我以前从未做过任何事情。我正在研究pythonanywhere一项服务,它允许您粘贴脚本并让他们完成所有的服务器工作。虽然我想学习如何使用AWS,因为它会扩展我的知识并对未来的项目有用。然后将数据保存到Dropbox这样的东西?

任何人都可以根据自己的经验提出建议吗?这可能与我的排队和保存数据的方法,服务器或实际存储数据的位置有关。

理想情况下,我想尽可能便宜。

由于

1 个答案:

答案 0 :(得分:2)

最简单的方法是在AWS中使用AWS EC2 t2.nano($ 5 /月)或t2.micro($ 9 /月)实例进行计算和使用AWS S3存储。使用python和boto3,您要做的事情并不困难(您可以在一天内编写代码并对其进行测试)。但如果您不熟悉AWS生态系统,则会有一些学习曲线。

我检查了您提到的网站,负责编码,计算和存储。我从未使用它,但看起来最便宜。

如果您想了解AWS,请选择第一个选项。如果时间和成本更重要,请使用第二个选项。