学习真实案例的大数据?

时间:2017-12-21 09:28:09

标签: database sqlite bigdata

我制作了一个庞大的数据库(150GB),我试图将比特币区块链编入索引以制作资源管理器,但是现在我对数据库问题比对资源管理器更感兴趣。

  • 表1:id,block_height,block_hash:500 000行
  • 表2:id,block_height,transaction_hash:780百万行
  • 表3:id,transaction_hash,地址:480万行

我在普通的i7 @ 3Ghz,16GB或ram,windows 10,SSD sata3上运行它。

我尝试在table3.address上添加索引,然后ram变为100%,30小时后它告诉我有一个I / O错误,并且没有创建索引。

我在table3.address上尝试了一个select distinct,在我的SSD和RAM的86h之后是100%我决定杀死sqlite进程。

我该怎么办?我迷路了,我只知道数据库的基础知识,不知道从哪里开始。

人们一直告诉我NoSql是faaaaaster,根据谷歌的说法,这不是必须的。

你可以指导我一点吗?我需要知道的关键词/概念?

目前我正在使用我的自定义解决方案:文本文件,每个地址一个文本文件,每个事务,每个集团

想知道所有独特的地址吗?列出地址文件夹中的文件。 想知道交易中发生的一切吗?只需使用hash.txt打开文件。

感谢。

0 个答案:

没有答案