关于混合科学和数据库的数据库建议关系数据？

Question

我有一个强大的用例，用于混合科学数据，即双矩阵和向量以及关系数据，并将其用作分布式计算的数据源，例如： MapReduce，hadoop等到目前为止，我一直在使用自定义HDF模式和Postgres中的关系数据将我的科学数据存储在HDF5文件中，但由于这种设置不能很好地扩展，我想知道是否有更多的NoSQL混合方法来支持这个数据的异质性？

e.g。我的用例是分发一个涉及以下内容的复杂过程：

1. 从时间序列数据库提供程序加载GB数据​​
2. 将时间序列链接到静态数据，例如符号信息，到期日，到期日等。
3. 启动一系列科学计算，例如协方差矩阵，分布拟合，MC模拟
4. 将计算分布在许多单独的HPC节点上，并存储中间结果以实现可追溯性。

这些步骤需要一个可以处理关系数据和科学数据的分布式数据库。可能的做法是将科学数据存储在HDF5中，然后将其作为BLOB列放在关系数据库中，但这是一种误用。另一个是将HDF5结果存储在磁盘中，并且有一个关联数据库链接到它，但我们失去了自我控制。但是，这两种方法都没有考虑分配数据以便在HPC节点中直接访问，因为需要从中心节点提取数据，这并不理想。

Answer 1

我不确定我是否可以提供适当的解决方案，但我们有类似的设置。

我们有存储在RBDMS（postgresql）中的元信息和HDF5文件中的实际科学数据。
我们在HPC上运行了一些分析。它的完成方式如下：

1. 用户想要运行分析（来自网络前端）
2. 将消息发送到包含分析类型和一些其他信息的中央消息代理（AMQP，RabbitMQ）
3. 工作计算机（VM）从中央消息代理中获取消息。工作人员使用REST从RDBMS数据库中检索元信息，并在HPC上分级文件，然后在群集上创建PBS作业。
4. 提交PBS作业后，将具有job-id的消息发送回消息代理，以存储在RBDS数据库中。
5. HPC作业将运行科学分析，然后将结果存储在HDF5文件中。
6. 作业完成后，工作机器会将HDF5文件暂存到NFS共享中，并将链接存储在RBMS数据库中。

我建议不要将二进制文件作为BLOB存储在RDBMS中 我会把它们保持为HDF5格式。您可以为数据库和文件系统提供不同的备份策略。

其他一些指示：

• 您可以隐藏REST界面后面的所有内容（RBMS和HDF5存储）。这可能会解决您的遏制问题
• 如果您想将所有内容存储在NoSQL数据库中，我建议您查看Elasticsearch。它适用于time-series data，它开箱即用，并且还有一个Hadoop plugin