在Jupyter pyspark笔记本中安装pip软件包

Question

我正在尝试在jupyter PySpark笔记本中安装一些pip packages，就像我以前在python笔记本中安装的方法一样：

!pip install pandas

但这显然不起作用：

SyntaxError: invalid syntax

那么有什么办法可以从笔记本上为pyspark安装python软件包？还是我应该怎么做？