管理CSV数据库和门户

时间:2018-10-18 20:06:12

标签: html database csv merge hardware

是堆栈的新内容,坦率地说,是编程。为自己买了一些书,计划了一些讲习班……美好时光。

我正在开始一项新事业, 客户感到需要从现有系统记录来自多个远程站点的数据。 对于计划使用嵌入式PC系统的远程站点,可能正在运行某种类型的Linux,该Linux通过以太网和Rs232在本地收集数据并将其定期发送到集中式服务器。为了限制异地零件的成本,我将计算量降到最低,并在服务器上完成所有工作。

到目前为止,我认为那部分不会造成很大的问题。但是现在我有一台服务器,每两分钟就会加载一次csv文件。 每个站点的csv都必须合并,每个站点或每天或每个月……根据我猜数据库的大小而定。

这引起了一个严重的问题,我可以安全地在合并后将单独的文件安全地移动或删除...自动,而不会删除在上一次合并过程中可能到达的任何文件。 或忽略先前合并中的文件。 最好将站点数据分开,并记住我也需要在两者之间进行引用。

计划是创建一个Web门户网站,该站点每天对数据进行过滤,以监视诸如电量之类的值。每个用户拆分网站。 我有Java的经验……几年前,但我相信html还是可以作为行业标准的。 那里也有很多问题,但我会先关注数据收集,然后再担心门户。

服务器硬件是我的障碍之一, 对于原型,我确定可以在我的C2750 8核心Atom家庭服务器上运行以进行测试。但是我担心一旦我处理了50、100、200个站点,即使运行双10,000欧元的xeon处理器,也会遇到巨大的瓶颈。还是我经常高估用于合并csv的资源。 我确实计划将门户网站放置在单独的服务器上。 在原型被证明值得扩展之后。

巨大的项目,肯定的学习曲线,但是我有时间。 从你们那里获得反馈,技巧,窍门和经验将是很棒的。

0 个答案:

没有答案