Question

customer - c_id，c_name，c_address 产品 - p_id，p_name，价格供应商 - s_id，s_name，s_address 订单 - o_id，c_id，p_id，数量，时间

SELECT o.o_id,
       c.c_id,
       c.c_name,
       p.p_id,
       p.p_name,
       p.price * o.quantity AS amount
FROM customer c
JOIN orders o ON o.c_id = c.c_id
JOIN product p ON p.p_id = o.p_id;

我想执行上面的查询，而不是在pyspark中将3个表作为单独的数据帧提取并在数据帧上执行连接。

Answer 1

您可以使用如下所述的表格查询

参考PySpark Documentation

df = spark.read.jdbc(
        "url", "(query) as table", 
        properties={"user":"username", "password":"password"})

在你的情况下，它将是：

df = spark.read.jdbc("url", """
    (
        SELECT o.o_id,
            c.c_id,
            c.c_name,
            p.p_id,
            p.p_name,
            p.price * o.quantity AS amount
            FROM customer c
            JOIN orders o ON o.c_id = c.c_id
            JOIN product p ON p.p_id = o.p_id
    ) as table""", properties={"user":"username", "password":"password"})

此answer已使用此类查询代替表。此question与您的案例相关

而不是使用pyspark获取多个表，我们如何使用jdbc执行连接查询

1 个答案: