分布式缓存和Tachyon有什么区别?

时间:2015-09-16 07:59:56

标签: apache-spark distributed-caching distributed-cache alluxio

分布式缓存是一种存储常见请求并启用快速检索的方法。

Tachyon 是一个以内存为中心的分布式存储文件系统,可以避免进入磁盘加载经常读取的数据集。

这两者之间有什么不同?

2 个答案:

答案 0 :(得分:6)

主要区别在于编程范例,请注意,根据您的定义,Tachyon几乎肯定是分布式缓存。

大多数分布式缓存通常是某种形式的键值存储,而更高级别的数据结构可以在此基础上构建,核心范例往往是关键值。

Tachyon旨在用作与大数据分析领域中普遍存在的HDFS界面兼容的软件文件系统。这样做的关键是它可以用作加速器的下拉,而不是必须调整每个框架以明确地使用分布式缓存层。

请注意,link of uiselect2Apache Ignite都是相关项目,提供键值和文件系统样式的API,使它们更具灵活性。

答案 1 :(得分:5)

Tachyon(现在称为Alluxio)位于计算层(Apache Spark,Apache Flink,Apache MapReduce)和存储层(HDFS,Amazon S3,OpenStack Swift,......)之间。

它基本上是一个内存文件系统,用于从下面的存储系统(一个或多个)中抽象用户。

对于上面的计算框架或作业,Tachyon是保存要计算的数据的数据存储。

它不能执行分布式计算高级功能,并且不像某些分布式缓存那样提供SQL查询支持(Apache Ignite或Hazelcast)。