如何将Watson Studio python笔记本与IAE Spark集成？

Question

我有一个IBM Analytics Engine（IAE）实例，将它作为关联服务添加到我的Watson Studio项目中，并基于它创建了一个Environment。 然后，我创建了一个python笔记本并将其环境设置为上述环境。

我在笔记本中运行了一个简单的pyspark脚本，发现它使用本地实例而不是IAE。

from pyspark.sql import SparkSession

spark = SparkSession.builder.getOrCreate()
spark

输出：

SparkSession - in-memory
SparkContext

Spark UI
Version
v2.4.5
Master
local[*]
AppName
pyspark-shell

我在做什么错了？

Answer 1

您没有做错任何事情。您的代码将发送到IAE以执行。因此它在您的IAE实例中本地运行。