我正在研究大数据项目。
该项目的基本流程如下：
- 数据来自大型机并存储到基础3.0中
- 之后，使用调度程序11a将数据摄入到配置单元中
- 然后使用map reduce作业（运行配置单元查询以获取特定的聚合属性）将其存储到mapr数据库中，以使用Rest API反映到应用程序中的键值对。
我想测试从Hive到Rest API的应用程序，假设Hive中的数据已正确加载。
测试此应用程序的最佳方法是什么 （目标待测：Hive数据，hive查询，mapr db性能，mapr dp数据，Rest api）。什么是最好的工具和技术。
提前谢谢你。
答案 0 :(得分：0)
可以测试什么？ - 这可以通过自我要求/问题解释
数据来自大型机主机并存储到基础3.0 - 验证数据按预期（根据需求）存储在大型机到基石之间
< / LI>之后使用调度程序在hive中获取数据 - 验证hive表是否具有预期的数据/ hdfs文件位置等（根据要求 - 如果在hive期间发生任何转换）表格加载 - 您将验证）
使用哪种最佳工具和技术？
用于hive / hdfs / data验证 - 我会创建 shell-script （由hive，hdfs文件位置，日志文件验证，运行mapreduce作业组成） ，验证mapreduce工作等）测试/验证上述每个步骤。首先应该从手动CLI命令开始，然后开始测试。
用于测试REST API - 有许多可用的工具，例如ReadyAPI，邮差。我也会在shell脚本中包含这一步（使用curl）