如何在HTML页面中显示CSV文件中的大量数据?

时间:2015-02-02 21:52:46

标签: java javascript csv plot bigdata

人。 我需要开发一些在工作中使用的东西,但我有些疑惑,所以我希望有人可以帮助我:))

情况: 我在公司的信息安全领域工作。我们使用QualysGuard工具搜索客户服务器中的漏洞。我的一个职能是管理关键绩效指标(KPI),以跟踪我们在几周内应用了多少补丁。我以CSV格式下载数据,然后在Excel中制作大量内容以组织所有内容,按客户名称,操作系统和漏洞的严重程度排序。

问题: 下载的CSV文件中有大量数据(每个文件有35MB和80000多行),我必须做很多重复工作才能最终使这些文件看起来很好(创建数据透视表,按资产排序,操作系统和严重程度,不同数据量的单独组(例如,一些客户有100多台服务器,这意味着他们的服务器中的漏洞比客户中的漏洞多,比如只有2台服务器。我每周必须这样做在本月底,我必须为每个客户和每个操作系统列出前10个最易受攻击的服务器。并且还将这些数据绘制成图表。

我需要什么: 我的老板问我是否可以创建一个系统(最好是基于网络的),可以读取这些CSV文件并显示他们的数据,也可以用它们绘制一些图表。

问题: 最好的方法是什么?我想过使用PHP,我有一些解析CSV文件数据和使用它们的经验,但是,由于PHP是一种服务器端语言,我想我将无法动态显示数据。 所以我想知道在这种情况下哪种编程语言最好? Javascript会处理吗?或者python或ruby的东西?或者也许是一些使用Java的Web应用程序?甚至PHP,如果与MySQL查询相结合? (我不确定我是否能够使用公司的数据库,所以,MySQL解决方案不是我的第一选择XD) 有没有人遇到过这样的问题? 我不是要求任何人给我编写程序,我只需要一些提示。 感谢所有回答问题的人:) 如果没有答案,至少感谢阅读:)

2 个答案:

答案 0 :(得分:0)

乍一看这与语言无关。您必须将其加载到服务器进行处理,因为从JavaScript您无法访问本地文件。

我的建议是(如果你真的需要处理CSV文件)是加载文件,从数据生成JSON对象,并使用JavaScript从客户端使用JSON对象。

根据文件的大小,您可能希望分页数据,因此您无需下载整个数据。但是最好将它加载到DB上,然后根据需要使用AJAX加载数据,甚至使用一些客户端组件绘制它。

答案 1 :(得分:0)

如果你需要动态的东西,你可以使用php与ajax。 将CSV转换为json / XML并解析以获取您的东西,或者您可以使用fgetcsv()函数从文件指针获取行并解析CSV字段。 fgetcsv()函数返回一个包含字段read的数组。