我想存储有关交易所资产贷款利率的数据。大约有8个资产,这是API call我将用于查询每个资产的数据的示例。
我打算为每个资产运行一个脚本。基本上每个脚本都是一个while循环,不断查询API,如果数据发生变化(添加或删除新的贷款),保存该调用的数据(即不保存重复项)我将保存数据为json文件。 (每个约5Kb,每小时约5000个)
我从各种测试中估计,我每年最多需要250GB。
我以前从未做过任何事情。我正在研究pythonanywhere一项服务,它允许您粘贴脚本并让他们完成所有的服务器工作。虽然我想学习如何使用AWS,因为它会扩展我的知识并对未来的项目有用。然后将数据保存到Dropbox这样的东西?
任何人都可以根据自己的经验提出建议吗?这可能与我的排队和保存数据的方法,服务器或实际存储数据的位置有关。
理想情况下,我想尽可能便宜。
由于
答案 0 :(得分:2)
最简单的方法是在AWS中使用AWS EC2 t2.nano
($ 5 /月)或t2.micro
($ 9 /月)实例进行计算和使用AWS S3存储。使用python和boto3,您要做的事情并不困难(您可以在一天内编写代码并对其进行测试)。但如果您不熟悉AWS生态系统,则会有一些学习曲线。
我检查了您提到的网站,负责编码,计算和存储。我从未使用它,但看起来最便宜。
如果您想了解AWS,请选择第一个选项。如果时间和成本更重要,请使用第二个选项。