火花作业执行模型方法

时间:2018-11-26 12:20:12

标签: apache-spark apache-spark-sql spark-streaming apache-spark-mllib

{     “ cust”:“零售”,     “表格”:[

{
    "Name":"customer",
    "table_NAME":"cust",
    "param1":"cust_id",  
    "val":"112",
    "op":"cust_name"

},
{
        "Name":"sales",
    "table_NAME":"sale",
    "param1":"country",  
    "val":"ind",
    "op":"monthly_sale"
}
]

}

{     “ cust”:“ Retail1”,     “表格”:[

{
    "Name":"customer",
    "table_NAME":"cust",
    "param1":"cust_id",  
    "val":"112",
    "op":"cust_name"

}
]

}

如何读取上述json文件,导航到表并形成动态sql查询,并在mongo DB中执行?

我们必须从上方的表(即)中形成多个查询

从cust_id = 112的cust中选择cust_name

获取结果并将其存储在json文件(json1)中。

类似于从SALE WHERE COUNTRY ='IND'中选择MONTHLY_SALE

&我们必须将此结果存储在上述json文件(json1)

在这里,我们必须创建2个json文件,因为bcoz我们有2个对象(retails--json1,retail1--json2)

执行此操作(火花缩放)的最佳方法是什么?

0 个答案:

没有答案