hadoop插入性能与数据库

Question

我有3台服务器，想要测试hadoop性能。

将数据加载到hadoop的速度要快于像cassandra这样的数据库吗？

如果我想使用impala，它会减慢数据插入吗？

Answer 1

  

将数据加载到hadoop的速度要快于像casssandra这样的数据库吗？

一般是的。将文件加载到Hadoop只是一个数据复制操作。它与数据库上传无法直接比较。

Vanilla map-reduce适用于批处理。 Cassandra速度很快，但它仍然需要排序和排序。复制传入的数据。将它与hbase，kudu，scylladb等系统进行比较会更好。

  

如果我想使用impala，它会减慢数据插入吗？

不。 Impala的数据插入器（称为datasink）在磁盘IO方面具有良好的质量。它使用HDFS＆＃39;短路功能，以减少开销。它应该比许多数据格式的vanilla map-reduce更快，特别是镶木地板。