为高频(流)数据创建新数据库的成本结构

时间:2016-09-18 15:32:39

标签: mysql database-design

首先,如果这个场景&质疑是模糊或笼统的;对于目前的考虑阶段,我将尽可能具体:

  • 桌面应用程序设计用于与远程服务器(带有C ++ API)进行交互(通过流式TCP / IP套接字连接),该远程服务器提供高频率(在某些情况下为亚秒级)数据,其中包含8个参数/每个时间戳的值。四个'产品'的数据将在09:00-17:00ET MF连续订阅,其他26种产品的相同数据格式将在非高峰时段(20:00-21)订阅:00)
  • 在所有情况下,收到的数据将保存到运行此桌面应用程序的PC上的一个MySQL表中。稍后将通过几个基本 R和Python脚本来查询数据以进行分析,这里为了考虑,只是意味着安装启用连接的包(pymysql等),仅此而已。

  • 随着时间的推移,每个产品的数据量可能会增加到5-6百万'行'(每行包含8个参数的值),因此总共有1.5-1.8亿行。

    < / LI>

问题是: 构建/实施此类数据库的哪些方面对程序员来说是最耗时的(复杂性;纯粹,最终需要的容量)?我从寻求聘请程序员的最终用户的角度问这个,并且收到的报价远高于1万美元。在与程序员的讨论中确定我将托管和维护数据库,因此成本问题仅限于设计和安装。建立。

1 个答案:

答案 0 :(得分:0)

我的猜测是程序员期望在流设置和一些性能优化期间进行一些额外的通信。

我的估计是:

  • 流分析(通信PoC) - 3MD
  • 数据分析 - 1MD
  • 项目设置 - 1MD
  • 初始数据库设置 - 2MD
  • 编码 - 3MD
  • 单元/集成测试 - 2MD
  • 运行代码的介绍 - 1MD
  • 性能优化 - 4MD
  • 性能测试 - 2MD
  • 工作代码演示 - 1MD

20MD + 30%储备= 27MD。美国每天400美元的工资最终为10.8万美元。在欧洲,您可以获得每天250美元的报价,所以约为6.5万美元或7,000美元。