我们正在使用java rest服务从头开始构建一个新的电子商务门户，我们计划使用MySQL（现在，Oracle将来）。我们也在使用ElasticSearch。我们正在构建整个门户作为微服务。我的问题是，我是否需要从头开始处理分析（如hadoop和HDFS集成）？
答案 0 :(得分：0)
奇异的关系数据库运行良好，但它们的扩展性很差。特别是对于大规模的Web服务。
您需要测量数据提取量/大小，以确定在Elasticsearch之上是否需要Hadoop（更具体地说是HDFS）进行批量分析。但可能不是。您可以使用独立的Apache Spark群集直接针对Elasticseach运行。
但是，你也可以use Kafka as a message bus between your JDBC compatible database as well as loading an Elasticsearch index。而Spark Streaming与Kafka配合得很好。
如果你想在混合中添加Hadoop，你可以从Kafka中提取相同的数据来填充HDFS目录。
有许多博客谈论通过Kafka的微服务通信